一眨眼，開源大模型又進(jìn)步了。谷歌、OpenAI真的沒有護(hù)城河?
「我就午休了30分，我們的領(lǐng)域又變了?」在看到最新的開源大模型排行榜后，一位 AI 領(lǐng)域的創(chuàng)業(yè)者發(fā)出了靈魂追問。
排行榜鏈接:https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
上圖紅框中的「新秀」是來自 Stability AI 和 CarperAI lab 的兩個大模型:FreeWilly1和 FreeWilly2。剛剛，它們超越了 meta 三天前發(fā)布的 Llama-2-70b-hf，成功登頂 HuggingFace 的 Open LLM 排行榜榜首。
更引人注目的是，F(xiàn)reeWilly2在很多基準(zhǔn)上還擊敗了 ChatGPT（GPT-3.5），成為首個真正可以和 GPT-3.5相抗衡的開源大模型，這是 Llama2都沒有做到的事情。
FreeWilly1基于原始的 LLaMA65B 基礎(chǔ)模型構(gòu)建，并且在標(biāo)準(zhǔn) Alpaca 格式下，使用新的合成數(shù)據(jù)集進(jìn)行了仔細(xì)的有監(jiān)督微調(diào)（SFT）。FreeWilly2則基于最新的 LLaMA270B 基礎(chǔ)模型構(gòu)建。
從 Stability AI 發(fā)布的博客中，我們可以看到這兩個新模型的一些細(xì)節(jié):
數(shù)據(jù)來源
FreeWilly 模型的訓(xùn)練方法直接受到了微軟在其論文《Orca: Progressive Learning from Complex Explanation Traces of GPT-4》中首創(chuàng)的方法的啟發(fā)。雖然 FreeWilly 的數(shù)據(jù)生成過程與之相似，但二者在數(shù)據(jù)來源方面存在差異。
FreeWilly 的數(shù)據(jù)集包含了60萬個數(shù)據(jù)點（大約是原始 Orca 論文使用的數(shù)據(jù)集大小的10%），它是通過以下由 Enrico Shippole 創(chuàng)建的高質(zhì)量指令數(shù)據(jù)集來啟發(fā)語言模型生成的:
COT Submix Original
NIV2Submix Original
FLAN2021Submix Original
T0Submix Original
采用這種方法，研究者使用了一個較簡單的 LLM 模型生成了50萬個示例，并使用一個更復(fù)雜的 LLM 模型生成了額外的10萬個示例。為了確保公平比較，他們仔細(xì)篩選了這些數(shù)據(jù)集，并刪除了來源于評估基準(zhǔn)測試的示例。盡管訓(xùn)練樣本數(shù)量僅為原始 Orca 論文的1/10（相比原始論文大大降低了訓(xùn)練模型的成本和碳排放），但由此產(chǎn)生的 FreeWilly 模型在各種基準(zhǔn)測試中表現(xiàn)出色，驗證了他們采用合成數(shù)據(jù)集的方法的有效性。
性能數(shù)據(jù)
為了對這些模型進(jìn)行內(nèi)部評估，研究者使用了 EleutherAI 的 lm-eval-harness 基準(zhǔn)，并加入了 AGIeval。
其中，lm-eval-harness 基準(zhǔn)由 EleutherAI 非盈利人工智能研究實驗室創(chuàng)建，前面提到的 HuggingFace Open LLM 排行榜背后運(yùn)行的就是該基準(zhǔn)，它會在 Hugging Face 計算集群的空閑周期中運(yùn)行評估，并將結(jié)果存儲在數(shù)據(jù)集中，然后在在線排行榜空間上顯示。
AGIeval 則由微軟創(chuàng)建，專門用于評估基礎(chǔ)模型在「以人為本」（human-centric）的標(biāo)準(zhǔn)化考試中的表現(xiàn)，比如數(shù)學(xué)競賽、律師資格考試。
在許多方面，兩個 FreeWilly 模型表現(xiàn)都非常出色，包括復(fù)雜的推理、理解語言的微妙之處，以及回答涉及專業(yè)領(lǐng)域（如法律和數(shù)學(xué)問題）的復(fù)雜問題。
兩個模型在 lm-eval-harness 基準(zhǔn)上的評估結(jié)果如下（這些 FreeWilly 測試結(jié)果是由 Stability AI 研究人員來評估的）:
二者在 AGIeval 基準(zhǔn)上的表現(xiàn)如下（全部是0-shot）:
此外，他們還在 GPT4ALL 基準(zhǔn)上對兩個模型進(jìn)行了測試（全部是0-shot）:
總體來看，這兩個模型的性能表現(xiàn)都非常優(yōu)秀，進(jìn)一步縮小了與 ChatGPT 等頂級 AI 大模型的差距。想要獲取模型的同學(xué)可以點擊以下鏈接。
FreeWilly1:https://huggingface.co/stabilityai/FreeWilly1-Delta-SafeTensor
FreeWilly2:https://huggingface.co/stabilityai/FreeWilly2
從各方反應(yīng)來看，F(xiàn)reeWilly 模型的出現(xiàn)給大家?guī)砹艘稽c小小的震撼，因為它們來得實在是太快了，畢竟 Llama2才剛剛推出3天，排行榜位置都沒坐熱。有位研究者表示，他最近剛做了眼科手術(shù)，一個星期沒看新聞，但感覺自己已經(jīng)昏迷了一年。所以，這是一段「不能眨眼」的時期。
不過，需要注意的是，雖然兩個模型都是開放獲取的，但和 Llama2不同，它們是以非商業(yè)許可的形式發(fā)布的，僅可用于研究目的。
然而，這樣的做法引起了網(wǎng)友質(zhì)疑。
對此，Stability AI的研究者回復(fù)說，這種情況（僅用于研究目的）只是暫時的，未來，F(xiàn)reeWilly 有望像 Llama2一樣允許商用。
此外，也有人對測試采用的基準(zhǔn)產(chǎn)生了質(zhì)疑:
這也是當(dāng)前一個比較棘手的問題。此前，F(xiàn)alcon 模型在 HuggingFace 排行榜上碾壓 Llama 的事件備受爭議，后來，該事件徹底反轉(zhuǎn)，事實證明 Llama 并未被 Falcon 碾壓，HuggingFace 也為此重寫了排行榜代碼。在大模型層出不窮的今天，如何有效地評估這些模型依然是一個值得討論的問題。因此，對于這些登頂排行榜的模型，我們有必要保持更加謹(jǐn)慎的態(tài)度，等待更多的評測結(jié)果出爐。
參考鏈接:https://stability.ai/blog/freewilly-large-instruction-fine-tuned-models?utm_source=twitter&utm_medium=website&utm_campaign=announcement
