ChatGPT 有 3% 答案是编造!研究证实:AI 的确有幻觉,真相大出意外
最近第三方研究证实,ChatGPT 等 AI 聊天机器人会像人类一样产生「幻觉」(hallucinations),且机率颇高。AI 为什麽要凭空捏造虚假资讯?不是说已通过律师考试,智商很高?研究揭露的真相大出意外。另外,AI 出现幻觉的问题有办法根治吗?
AI会像人类一样出现幻觉听起来十分不可思议,可是这个问题确实已困扰AI领域学者、研究人员许久,且短期内似乎不容易找到解方。
所谓的「幻觉」,指的就是ChatGPT等生成式AI聊天机器人以错误,甚至是根本就不存在的资讯来回答使用者的问题,像是2023年6月美国律师让ChatGPT代写诉状,结果引用的判例均为凭空捏造的事件。
为了厘清导致AI产生幻觉的前因後果,新创公司「Vectara」研究团队近期进行了一项研究,确切记录并计算各大AI开发商推出的聊天机器人产生幻觉的机率,结果显示ChatGPT出现幻觉的机率为3%、Meta旗下聊天机器人提供错误资讯的机率为5%、Google推出的生成式AI模型「PaLM」出现幻觉的机率则高达27%,是最常抛出虚假资讯的聊天机器人。
据《纽约时报》报导,Vectara执行长阿瓦达拉(Amr Awadallah)曾担任Google云端副总裁,公司另一名创办人则是自2017年便开始在Google进行AI相关研究的工程师艾哈迈德(Amin Ahmad),两人此次组建团队专门研究AI幻觉的目的是希望「推动业界加速着手减少生成式AI出现幻觉的机率」,同时提醒民众在「接收AI产出的资讯时,必须时刻保持警惕」。
Vectara团队为聊天机器人提供新闻报导文本,并要求聊天机器人简单摘录内容重点,怎料各个聊天机器人的回答当中仍旧夹杂着错误、且根本没有出现在文本当中的讯息。
「AI系统在这样的情况下还是能够犯错,说明系统本质就有问题,」阿瓦达拉说。
专家:AI系统其实像四岁小孩
聊天机器人为何仍会在接获明确指示的情况下发表不实言论?
对此,美国有线电视新闻网CNN早前也采访了专门研究AI科技的布朗大学教授文卡达苏巴马尼安(Suresh Venkatasubramanian),发现AI技术背後的大型语言模型其实所接受的训练十分简单粗暴,它们的任务就是「针对使用者的问题,提供看似合理的答案」,却并不需要事先确认资讯是否属实。
文卡达苏巴马尼安认为,与其说AI谎话连篇、出现幻觉,这些聊天机器人产出的回答比较像四岁小孩随意脱口而出的小故事,本质上并无恶意,也不是故意欺骗使用者,就是不懂得分辨事情真伪。
「大人往往只需要问一句『接下来呢?』,小朋友就会继续说各种各样的故事。他所说的故事可以无限展开,」文卡达苏巴马尼安说。
生成式AI虽然并非恶意提供虚假资讯,但AI幻觉所造成的影响依旧非常深远。
《纽约时报》指出,对於贪新鲜、仅仅把聊天机器人当作消遣的使用者来说,AI幻觉或许根本不是问题,但对於「使用这项科技来获取法律文件、医疗资讯、高度机密商业相关资讯的使用者来说,幻觉问题非同小可。」
文卡达苏巴马尼安进一步表示,以现阶段发展来看,使用者如果在无法「立即亲自确认资讯是否准确可信」的情况下过度依赖生成式AI,风险还是相当高。
ChatGPT等AI的幻觉如何根治?业界看法不一
业界虽然一致认同必须正视AI出现幻觉的问题,但对於问题可否根治一事仍存在分歧。
《纽约时报》指出,受访学者普遍认为这个问题「没那麽容易解决」。大型语言模式会蒐集、爬梳网路上现有的资讯,以此学习如何合理回答用户问题,但「正是因为网路上不实资料泛滥,导致系统也跟着重复这些虚假资讯」。同时,大型语言模式也透过计算机率来产出看似合理的答案,但这样的作业方式不可能百分之百准确无误。
此外,文卡达苏巴马尼安强调,AI及大型语言模型都是极为复杂、「极为脆弱」的,看似极其细微的调整都有可能彻底改变这些系统的运作方式,因此眼下的情况仍旧充满太多复杂的变数。
「况且,要准确列出所有可能出现的错误是很困难的事,毕竟要关注的细枝末节实在是太多了,」文卡达苏巴马尼安说。
但Vectara研究团队认为找出问题症结还是十分重要的第一步,因此决定公开发表研究方法、研究中所使用的测量工具,未来也会不断更新相关研究数据,力求敦促业界积极寻找解决方案。而做为一般使用者,人们现阶段能够做的就是继续对生成式AI抱持合理的怀疑。
(本文由 远见杂志 授权转载;首图来源:shutterstock)