“一本正經胡說八道”：AI幻覺到底有多可怕？

在享受AI帶來便捷的同時，你是否發(fā)現(xiàn)這個問題揮之不去——AI幻覺，一種“看似真實、實則虛構”的內容生成現(xiàn)象，正滲透進我們的生活。它到底是通往更強大智能的陣痛，還是技術發(fā)展的“魔性副產物”？未來，AI幻覺能否為我所用？

幻覺亂象，層出不窮

AI大模型固然“聰明”，但在“胡說八道”方面也毫不遜色。虛構引用、杜撰人物、邏輯混亂，在與AI的互動中屢見不鮮。

例如，它會引用一篇根本不存在的“2023年哈佛研究”；或者，為并不存在的“諾貝爾物理學獎得主約翰·史密斯”編織一段“量子物理貢獻”的敘述。有時候，它甚至會在你一再否認其內容后“動搖立場”，反復修改說法。

中新網記者在測試中還發(fā)現(xiàn)，AI模型在面對較為復雜的推理問題時，可能“宕機”或自相矛盾。而當你編造出一個根本不存在的概念，比如“高數(shù)幾何睡眠法”，它也會一本正經地回答：“這是一種將睡眠科學與高等數(shù)學相結合的個性化學習策略……”——說得頭頭是道。

某大模型截圖。

當中新網記者輸入自己的名字請AI大模型進行介紹，還出現(xiàn)了一名乍看上去完全合理，但其實完全不存在的人，可以說除了“記者”是真的，其他全是假的。

AI大模型介紹的記者身份，職業(yè)生涯背景等均為虛構。

技術問題，還是認知演進？

“AI幻覺就是生成看起來像真的一樣的虛假信息。”互聯(lián)網行業(yè)從業(yè)者、58同城CEO姚勁波接受中新網采訪認為，它當然需要治理，但現(xiàn)階段還未構成決定性風險。“互聯(lián)網發(fā)展這么多年，虛假信息仍然很多，沒有被徹底消除，但網友的識別能力也越來越高。我認為AI領域也一樣，隨著用戶教育的積累，越來越多的網友自己可以分辨出AI幻覺。”

不過，并非所有從業(yè)者都如此樂觀?？拼笥嶏w董事長劉慶峰曾指出，生成式AI的幻覺問題不僅關乎內容真假，更可能形成算法偏差的惡性循環(huán)——虛假內容被AI再次學習、放大，反復再生產。

但值得注意的是，AI幻覺在部分場景中卻意外成了創(chuàng)作“靈感來源”。游戲開發(fā)、動漫設計、小說創(chuàng)作等領域，恰恰歡迎那種“不合常理”的奇思妙想。比如AI生成的創(chuàng)意圖片不少是違反自然規(guī)律的，但這不影響創(chuàng)意圖的效果。

一位不愿具名的開源大模型社區(qū)負責人坦言：“今年的大模型比往年更好，就是因為產生了一部分想象力的創(chuàng)作。”

治理AI幻覺，路徑幾何？

如何治理AI幻覺？技術手段正在快速跟進。一方面，企業(yè)正在為大模型接入權威知識庫或實時搜索能力，使其答案更具事實依據；另一方面，“標注AI生成內容”也成為監(jiān)管部門推動的方向。

上述開源大模型社區(qū)負責人就表示，AI大模型如今引入聯(lián)網搜索，各個平臺也在用算法和工程解決一部分幻覺問題。

中國工程院院士張亞勤近日表示，幻覺在橫向模型里會越來越少，但是它不會消失，這是生成式AI的特點。要消失的話，一定需要具體到某個行業(yè)時，用更精準的數(shù)據和更精準的模型結合起來，才會達到效果。

多位科技領域企業(yè)家也提出了相應對策。360集團創(chuàng)始人周鴻祎強調企業(yè)模型需對接專有知識庫進行校正，劉慶峰則建議，要定期清理模型中的“幻覺數(shù)據”。

零一萬物CEO李開復則認為，“聯(lián)網搜索能力”是降低AI幻覺的關鍵路徑，但現(xiàn)實操作中并不輕松。每個企業(yè)都有自己的數(shù)據庫、CRM、ERP系統(tǒng)，聯(lián)網不是難，而是難以實時、完整。這方面還需繼續(xù)突破。

政策層面也已展開行動。近日，國家互聯(lián)網信息辦公室、工業(yè)和信息化部、公安部、國家廣播電視總局聯(lián)合發(fā)布《人工智能生成合成內容標識辦法》(以下簡稱《辦法》)。

《辦法》聚焦人工智能“生成合成內容標識”關鍵點，通過標識提醒用戶辨別虛假信息，明確相關服務主體的標識責任義務，規(guī)范內容制作、傳播各環(huán)節(jié)標識行為，將于2025年9月1日起施行。

國家互聯(lián)網信息辦公室有關負責人介紹，《辦法》重點解決“哪些是生成的”“誰生成的”“從哪里生成的”等問題，推動由生成到傳播各環(huán)節(jié)的全流程安全管理，力爭打造可信賴的人工智能技術。