幻覺，早已成為LLM老生常談的問題。
然而，OpenAI科學(xué)家Andrej Karpathy今早關(guān)于大模型幻覺的解釋，觀點驚人，掀起非常激烈的討論。
在Karpathy看來:
另外，Karpathy的另一句話，更是被許多人奉為經(jīng)典。他認(rèn)為，與大模型相對的另一個極端，便是搜索引擎。
「大模型100%在做夢，因此存在幻覺問題。搜索引擎則是完全不做夢，因此存在創(chuàng)造力問題」。
總而言之，LLM不存在「幻覺問題」。而且幻覺不是錯誤，而是LLM最大的特點。只有大模型助手存在幻覺問題。
對此，英偉達高級科學(xué)家Jim Fan分享了自己的看法，「令人著迷的是，最好的LLM可以通過切換到『工具使用模式』來『決定』何時做夢，何時不做夢。網(wǎng)絡(luò)搜索是一種工具。LLM可以動態(tài)調(diào)整自己的『dream% 超參數(shù)』。GPT-4試圖做到這一點，但遠非完美」。
亞利桑那州立大學(xué)的教授Subbarao Kambhampati也跟帖回復(fù)了Karpathy:
基于這個認(rèn)知，他認(rèn)為，所有想要將LLM的能力擬人化的嘗試都只是人類的一廂情愿，將思考、想法、推理和自我批評等擬人化概念強加在LLM上都是徒勞的。
人類應(yīng)該在認(rèn)清LLM能力的本質(zhì)基礎(chǔ)之上，將它當(dāng)作一個「補充人類認(rèn)知的矯正器」，而不是潛在的替代人類智能的工具。
當(dāng)然，討論這種問題的場合永遠少不了馬老板的身影:「人生不過就是一場夢」。
感覺下一句他就要說，我們也只是生活在矩陣模擬之中。
Karpathy:LLM不存在「幻覺問題」，LLM助手才有
對于大模型飽受詬病的幻覺問題，Karpathy具體是如何看的呢?
我們用「提示」來引導(dǎo)這些「夢」，也正是「提示」開啟了夢境，而大語言模型依據(jù)對其訓(xùn)練文檔的模糊記憶，大部分情況下都能引導(dǎo)夢境走向有價值的方向。
只有當(dāng)這些夢境進入被認(rèn)為與事實不符的領(lǐng)域時，我們才會將其稱為「幻覺」。這看起來像是一個錯誤，但其實只是LLM本就擅長的事情。
再來看一個極端的例子:搜索引擎。它根據(jù)輸入的提示，直接返回其數(shù)據(jù)庫中最相似的「訓(xùn)練文檔」，一字不差?？梢哉f，這個搜索引擎存在「創(chuàng)造力問題」，即它永遠不會提供新的回應(yīng)。
「大模型100%在做夢，因此存在幻覺問題。搜索引擎則是完全不做夢，因此存在創(chuàng)造力問題」。
說了這么多，我明白人們「真正」關(guān)心的是，不希望LLM助手（ChatGPT等產(chǎn)品）產(chǎn)生幻覺。大語言模型助手遠比單純的語言模型復(fù)雜得多，即使語言模型是其核心。
有很多方法可以減輕AI系統(tǒng)的幻覺:使用檢索增強生成（RAG），通過上下文學(xué)些將做夢更準(zhǔn)確回溯在真實數(shù)據(jù)上，這可能是最常見的一種方法。另外，多個樣本之間的不一致性、反思、驗證鏈;從激活狀態(tài)中解碼不確定性;工具使用等等，都是熱門且有趣的研究領(lǐng)域。
總之，雖然可能有些吹毛求疵，，但LLM本身不存在「幻覺問題」?；糜X并非是缺陷，而是LLM最大的特點。真正需要解決幻覺問題的是大語言模型助手，而我們也應(yīng)該著手解決這一問題。
LLM是造夢機，請停止一廂情愿的「擬人化」
來自亞利桑那州立大學(xué)的AI科學(xué)家Subbarao Kambhampati教授，把自己的研究總結(jié)成了一篇X上的長文。
他認(rèn)為產(chǎn)生不同的認(rèn)知（包括幻覺）就是LLM本質(zhì)能力，所以不應(yīng)該對于LLM產(chǎn)生過于理想化的期待。
鏈接地址:https://twitter.com/rao2z/status/1718714731052384262
在他看來，人類應(yīng)該將LLM視為強大的認(rèn)知「模擬器」，而不是人類智能的替代品。
LLM本質(zhì)上是一個令人驚嘆的巨大的外部非真實記憶庫，如果使用得當(dāng)，可以作為人類強大的認(rèn)知「模擬器」。
而對于人類來說，想要發(fā)揮LLM的作用，關(guān)鍵是如何有效地利用LLM，而不是在這個過程中不斷用擬人化的企圖來自欺欺人。
人類對于LLM最大的錯覺就是我們不斷地將LLM與人類智能相混淆，努力地將思考、想法、推理和自我批評等擬人化概念套在LLM之上。
這種擬人化是相當(dāng)徒勞的——而且，正如很多研究中展現(xiàn)的那樣——甚至?xí)m得其反并具有誤導(dǎo)性。
而從另一個角度說，如果我們不將「通過LLM開發(fā)出達到人類水平的AI系統(tǒng)」設(shè)定為唯一目標(biāo)，就不用天天批判自回歸LLM非常差勁（比如LeCun教授）。
LLM是可以非常有效地補充認(rèn)知的「模擬器」，并沒有天然包含人類的智力。
LLM在某些事情上能比人類做得好太多了，比如快速概括，歸納總結(jié)。
但是在做很多其他事情的能力上比人類又差太多了，比如規(guī)劃、推理、自我批評等。
人類真正需要的也許是:
1.充分利用LLM的優(yōu)勢。這可以在LLM產(chǎn)品架構(gòu)中加入人類或者其他具有推理能力的工具來強化LLM的優(yōu)勢。
2. 在某種程度上，人類水平的智能仍然是目前值得追尋的圣杯，保持開放的研究途徑，而不是僅僅是堆疊算力，擴大自回歸架構(gòu)。
大模型幻覺，究竟從何來
前段時間，一個名為Vectara的機構(gòu)，在GitHub推出了一個大模型幻覺排行榜。
結(jié)果顯示，在總結(jié)短文檔方面，GPT-4的表現(xiàn)最為優(yōu)異，而Google PaLM的兩款模型直接墊。
其中，GPT-4的準(zhǔn)確率為97.0%，幻覺率為3.0%，回答率為100.0%。Palm-Chat2的準(zhǔn)確率為72.8%，幻覺率高達27.2%，回答率為88.8%。
不過，這個榜單一出來，受到了許多業(yè)內(nèi)人士的質(zhì)疑。
OpenAI聯(lián)合創(chuàng)始人兼研究員John Schulman曾在一次演講——「RL和Truthfulness – Towards TruthGPT」，探討了幻覺問題。
根據(jù)Schulman的說法，幻覺大致可以分為兩種類型:
– 模型猜測錯誤
– 模式完成行為:語言模型無法表達自己的不確定性，無法質(zhì)疑提示中的前提，或者繼續(xù)之前犯的錯誤。
語言模型代表一種知識圖譜，其中包含來自其自身網(wǎng)絡(luò)中訓(xùn)練數(shù)據(jù)的事實，因此「微調(diào)」可以理解為學(xué)習(xí)一個函數(shù)，該函數(shù)在該知識圖譜上運行并輸出token預(yù)測。
舉個例子，微調(diào)數(shù)據(jù)集可能包含「星球大戰(zhàn)屬于什么類型影片」這個問題，以及答案「科幻」。
如果這些信息已經(jīng)在原始訓(xùn)練數(shù)據(jù)中，即它是知識圖譜的一部分，那么模型不會學(xué)習(xí)新信息，而是學(xué)習(xí)一種行為——輸出正確答案。這種微調(diào)也被稱為「行為克隆」。
但是，如果答案不是原始訓(xùn)練數(shù)據(jù)集的一部分（也不是知識圖譜的一部分），即使網(wǎng)絡(luò)不知道答案，它便會學(xué)習(xí)回答。
使用實際上正確但不在知識圖譜中的答案進行微調(diào)，從而教會網(wǎng)絡(luò)編造答案——即產(chǎn)生「幻覺」。相反，用不正確的答案進行訓(xùn)練會導(dǎo)致網(wǎng)絡(luò)隱瞞信息。
網(wǎng)友激烈探討
「LLM 是一個造夢機」。多么美妙的一句話。如果我們?nèi)祟愐采钤诟呔S度創(chuàng)造者構(gòu)造的夢境中，那么LLM將來是否也能遞歸地創(chuàng)造出做夢的機器?
另一位網(wǎng)友分享了他要求ChatGPT給自己的回復(fù)進行置信度評分時，ChatGPT給了90%，并且解釋了原因:
其實對于幻覺的討論本質(zhì)上就是對于「真理」的討論，也許并沒有什么東西是絕對客觀的「真理」。
當(dāng)所需數(shù)據(jù)已經(jīng)存可用時，并不總是需要搜索事實。然而，LLM面臨的挑戰(zhàn)在于其學(xué)習(xí)過程，這通常涉及一種「破壞性」數(shù)據(jù)壓縮。解決這個問題——減少數(shù)據(jù)丟失，不僅能緩解幻覺問題，還能減少對大量訓(xùn)練數(shù)據(jù)集的需求。
事實上，我們的最終目標(biāo)不僅僅是創(chuàng)造更多的LLM，而是實現(xiàn)真正的智能。雖然LLM通過語言理解提供了一瞥，但它們的根本缺陷是學(xué)習(xí)過程損害了數(shù)據(jù)完整性。理想的架構(gòu)應(yīng)該是在學(xué)習(xí)過程中保留數(shù)據(jù)，保持對原始信息的忠實，同時還能讓模型發(fā)展和完善其智能。我假設(shè)這樣的架構(gòu)可能涉及復(fù)制數(shù)據(jù)而不是壓縮數(shù)據(jù)。
每個LLM都是一個不可靠的敘述者，就其架構(gòu)的本質(zhì)而言，它是不可逆轉(zhuǎn)的。
對于大模型幻覺問題的解釋，你贊同Karpathy的看法嗎?
