ChatGPT有3%答案是編造!研究證實:AI的確有幻覺,真相大出意外
最近第三方研究證實,ChatGPT等AI聊天機器人會像人類一樣產生「幻覺」(hallucinations),且機率頗高。AI為什麼要憑空捏造虛假資訊?不是說已通過律師考,智商很高?研究揭露的真相大出意外。另外,AI出現幻覺的問題有辦法根治嗎?
AI會像人類一樣出現幻覺聽起來十分不可思議,可是這個問題確實已困擾AI領域學者、研究人員許久,且短期內似乎不容易找到解方。
所謂的「幻覺」,指的就是ChatGPT等生成式AI聊天機器人以錯誤、甚至是根本就不存在的資訊來回答使用者的問題,像是今年(2023)6月美國律師讓ChatGPT代寫訴狀、結果引用的判例均為憑空捏造的事件。
為了釐清導致AI產生幻覺的前因後果,新創公司「Vectara」研究團隊近期進行了一項研究,確切記錄並計算各大AI開發商推出的聊天機器人產生幻覺的機率,結果顯示ChatGPT出現幻覺的機率為3%、Meta旗下聊天機器人提供錯誤資訊的機率為5%、Google推出的生成式AI模型「PaLM」出現幻覺的機率則高達27%,是最常拋出虛假資訊的聊天機器人。
據《紐約時報》報導,Vectara執行長阿瓦達拉(Amr Awadallah)曾擔任Google雲端副總裁,公司另一名創辦人則是自2017年便開始在Google進行AI相關研究的工程師艾哈邁德(Amin Ahmad),兩人此次組建團隊專門研究AI幻覺的目的是希望「推動業界加速著手減少生成式AI出現幻覺的機率」,同時提醒民眾在「接收AI產出的資訊時,必須時刻保持警惕」。
Vectara團隊為聊天機器人提供新聞報導文本,並要求聊天機器人簡單摘錄內容重點,怎料各個聊天機器人的回答當中仍舊夾雜著錯誤、且根本沒有出現在文本當中的訊息。
「AI系統在這樣的情況下還是能夠犯錯,說明系統本質就有問題,」阿瓦達拉說。
專家:AI系統其實像四歲小孩
聊天機器人為何仍會在接獲明確指示的情況下發表不實言論?
對此,美國有線電視新聞網CNN早前也採訪了專門研究AI科技的布朗大學教授文卡達蘇巴馬尼安(Suresh Venkatasubramanian),發現AI技術背後的大型語言模型其實所接受的訓練十分簡單粗暴,它們的任務就是「針對使用者的問題,提供看似合理的答案」,卻並不需要事先確認資訊是否屬實。
文卡達蘇巴馬尼安認為,與其說AI謊話連篇、出現幻覺,這些聊天機器人產出的回答比較像四歲小孩隨意脫口而出的小故事,本質上並無惡意,也不是故意欺騙使用者,就是不懂得分辨事情真偽。
「大人往往只需要問一句『接下來呢?』,小朋友就會繼續說各種各樣的故事。他所說的故事可以無限展開,」文卡達蘇巴馬尼安說。
生成式AI雖然並非惡意提供虛假資訊,但AI幻覺所造成的影響依舊非常深遠。
《紐約時報》指出,對於貪新鮮、僅僅把聊天機器人當作消遣的使用者來說,AI幻覺或許根本不是問題,但對於「使用這項科技來獲取法律文件、醫療資訊、高度機密商業相關資訊的使用者來說,幻覺問題非同小可」。
文卡達蘇巴馬尼安進一步表示,以現階段發展來看,使用者如果在無法「立即親自確認資訊是否準確可信」的情況下過度依賴生成式AI,風險還是相當高。
ChatGPT等AI的幻覺如何根治?業界看法不一
業界雖然一致認同必須正視AI出現幻覺的問題,但對於問題可否根治一事仍存在分歧。
《紐約時報》指出,受訪學者普遍認為這個問題「沒那麼容易解決」。大型語言模式會蒐集、爬梳網路上現有的資訊,以此學習如何合理回答用戶問題,但「正是因為網路上不實資料氾濫,導致系統也跟著重複這些虛假資訊」。同時,大型語言模式也透過計算機率來產出看似合理的答案,但這樣的作業方式不可能百分之百準確無誤。
此外,文卡達蘇巴馬尼安強調,AI及大型語言模型都是極為複雜、「極為脆弱」的,看似極其細微的調整都有可能徹底改變這些系統的運作方式,因此眼下的情況仍舊充滿太多複雜的變數。
「況且,要準確列出所有可能出現的錯誤是很困難的事,畢竟要關注的細枝末節實在是太多了,」文卡達蘇巴馬尼安說。
但Vectara研究團隊認為找出問題癥結還是十分重要的第一步,因此決定公開發表研究方法、研究中所使用的測量工具,未來也會不斷更新相關研究數據,力求敦促業界積極尋找解決方案。而作為一般使用者,人們現階段能夠做的就是繼續對生成式AI抱持合理的懷疑。
看更多遠見雜誌文章:
GPT-4 Turbo 超強聊天機器人來了!OpenAI開發者大會重點整理
馬斯克也推AI:Grok靠幽默完勝ChatGPT?
AI教父世紀辯論:科技公司要求監管人工智慧,背後圖利了誰?