魚羊 蕭簫 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

說出來你可能不信，有一只AI剛剛被證明，處理語音的方式跟大腦謎之相似。

甚至在結(jié)構(gòu)上都能相互對應(yīng)——

科學(xué)家們在AI身上直接定位出了“視覺皮層”。

這項(xiàng)來自Meta AI等機(jī)構(gòu)的研究一經(jīng)po出，立馬在社交媒體上炸開了鍋。一大波神經(jīng)科學(xué)家和AI研究者前往圍觀。

LeCun稱贊這是“出色的工作”：自監(jiān)督Transformer分層活動(dòng)與人類聽覺皮層活動(dòng)之間，確實(shí)密切相關(guān)。

還有網(wǎng)友趁機(jī)調(diào)侃：Sorry馬庫斯，但AGI真的快要來了。

不過，研究也引發(fā)了一些學(xué)者的好奇。

例如麥吉爾大學(xué)神經(jīng)科學(xué)博士Patrick Mineault提出疑問：

我們發(fā)表在NeurIPS的一篇論文中，也嘗試過將fMRI數(shù)據(jù)和模型聯(lián)系起來，但當(dāng)時(shí)并不覺得這倆有啥關(guān)系。

所以，這到底是一項(xiàng)怎樣的研究，它又是如何得出“這只AI干起活來像大腦”的結(jié)論的？

AI學(xué)會(huì)像人腦一樣工作

簡單來說，在這項(xiàng)研究中，研究人員聚焦語音處理問題，將自監(jiān)督模型Wav2Vec 2.0同412名志愿者的大腦活動(dòng)進(jìn)行了比較。

這412名志愿者中，有351人說英語，28人說法語，33人說中文。研究人員給他們聽了大約1個(gè)小時(shí)的有聲書，并在此過程中用fMRI對他們的大腦活動(dòng)進(jìn)行了記錄。

模型這邊，研究人員則用超過600小時(shí)的無標(biāo)簽語音來訓(xùn)練Wav2Vec 2.0。

對應(yīng)志愿者的母語，模型也分為英語、法語、中文三款，另外還有一款是用非語音聲學(xué)場景數(shù)據(jù)集訓(xùn)練的。

而后這些模型也聽了聽志愿者同款有聲書。研究人員從中提取出了模型的激活。

相關(guān)性的評價(jià)標(biāo)準(zhǔn)，遵照這個(gè)公式：

其中，X為模型激活，Y為人類大腦活動(dòng)，W為標(biāo)準(zhǔn)編碼模型。

從結(jié)果來看，自監(jiān)督學(xué)習(xí)確實(shí)讓W(xué)av2Vec 2.0產(chǎn)生了類似大腦的語音表征。

從上圖中可以看到，在初級(jí)和次級(jí)聽覺皮層，AI明顯預(yù)測到了幾乎所有皮層區(qū)域的大腦活動(dòng)。

研究人員還進(jìn)一步發(fā)現(xiàn)了AI的“聽覺皮層”、“前額葉皮層”到底長在哪一層。

圖中顯示，聽覺皮層與Transformer的第一層（藍(lán)色）最吻合，而前額葉皮層則與Transformer的最深一層（紅色）最吻合。

此外，研究人員量化分析了人類感知母語和非母語音素的能力差異，并與Wav2Vec 2.0模型進(jìn)行對比。

他們發(fā)現(xiàn)，AI也像人類一樣，對“母語”有更強(qiáng)的辨別能力，比如，法語模型就比英語模型更容易感知來自法語的刺激。

上述結(jié)果證明了，600小時(shí)的自監(jiān)督學(xué)習(xí)，就足以讓W(xué)av2Vec 2.0學(xué)習(xí)到語言的特定表征——這與嬰兒在學(xué)說話的過程中接觸到的“數(shù)據(jù)量”相當(dāng)。

要知道，之前DeepSpeech2論文認(rèn)為，至少需要10000小時(shí)的語音數(shù)據(jù)（還得是標(biāo)記的那種），才能構(gòu)建一套不錯(cuò)的語音轉(zhuǎn)文字（STT）系統(tǒng)。

再次引發(fā)神經(jīng)科學(xué)和AI界討論

對于這項(xiàng)研究，有學(xué)者認(rèn)為，它確實(shí)做出了一些新突破。

例如，來自谷歌大腦的Jesse Engel稱，這項(xiàng)研究將可視化濾波器提升到了一個(gè)新的層次。

現(xiàn)在，不僅能看到它們在“像素空間”里長啥樣，連它們在“類腦空間”中的模樣也能模擬出來了：

又例如，前MILA和谷歌研究員Joseph Viviano認(rèn)為，這個(gè)研究還證明了fMRI中的靜息態(tài)（resting-state）成像數(shù)據(jù)是有意義的。

但在一片討論中，也出現(xiàn)了一些質(zhì)疑的聲音。

例如，神經(jīng)科學(xué)博士Patrick Mineault除了指出自己做過相似研究但沒得出結(jié)論外，也給出了自己的一些質(zhì)疑。

他認(rèn)為，這篇研究并沒有真正證明它測量的是“語音處理”的過程。

相比于人說話的速度，fMRI測量信號(hào)的速度其實(shí)非常慢，因此貿(mào)然得出“Wav2vec 2.0學(xué)習(xí)到了大腦的行為”的結(jié)論是不科學(xué)的。

當(dāng)然，Patrick Mineault表示自己并非否認(rèn)研究的觀點(diǎn)，他自己也是“作者的粉絲之一”，但這項(xiàng)研究應(yīng)該給出一些更有說服力的數(shù)據(jù)。

此外也有網(wǎng)友認(rèn)為，Wav2vec和人類大腦的輸入也不盡相同，一個(gè)是經(jīng)過處理后的波形，但另一個(gè)則是原始波形。

對此，作者之一、Meta AI研究員Jean-Rémi King總結(jié)：

模擬人類水平的智能，確實(shí)還有很長的路要走。但至少現(xiàn)在來看，我們或許走在了一條正確的道路上。

你認(rèn)為呢？

論文地址：https://arxiv.org/abs/2206.01685

參考鏈接：[1]https://twitter.com/patrickmineault/status/1533888345683767297[2]https://twitter.com/JeanRemiKing/status/1533720262344073218[3]https://www.reddit.com/r/singularity/comments/v6bqx8/toward_a_realistic_model_of_speech_processing_in/[4]https://twitter.com/ylecun/status/1533792866232934400

— 完 —

量子位 QbitAI · 頭條號(hào)簽約

關(guān)注我們，第一時(shí)間獲知前沿科技動(dòng)態(tài)