極客號(hào)（Daydx.com）8月24日 消息:最近，來自波士頓大學(xué)的鴨嘴獸-70B模型登頂了HuggingFace的開源大模型排行榜，成為目前全球開源領(lǐng)域中表現(xiàn)最強(qiáng)的語言模型。鴨嘴獸的變強(qiáng)有以下三個(gè)關(guān)鍵原因:
首先，鴨嘴獸使用了一個(gè)經(jīng)過優(yōu)化的開源數(shù)據(jù)集Open-Platypus進(jìn)行訓(xùn)練。該數(shù)據(jù)集由11個(gè)開源數(shù)據(jù)集組合而成，主要包含人工設(shè)計(jì)的問題，只有約10%的問題是由語言模型生成。同時(shí)，研究人員對(duì)數(shù)據(jù)集進(jìn)行了處理，刪除了相似和重復(fù)的問題，最大限度地減少了數(shù)據(jù)冗余。這有助于模型在更小的數(shù)據(jù)集上獲取更強(qiáng)大的能力。
其次，研究人員使用了低秩逼近（LoRA）和參數(shù)高效微調(diào)(PEFT)對(duì)鴨嘴獸模型進(jìn)行了微調(diào)。與完全微調(diào)不同，LoRA只訓(xùn)練轉(zhuǎn)換層中的可訓(xùn)練參數(shù)，從而大大降低了計(jì)算訓(xùn)練成本。PEFT則主要微調(diào)了非注意力模塊，如門控單元和上下采樣模塊，這進(jìn)一步提升了模型性能。相比僅優(yōu)化注意力模塊，這種方法取得了更好的效果。
論文地址:https://arxiv.org/pdf/2308.07317.pdf
最后，研究人員深入探索了開放式語言模型訓(xùn)練中存在的數(shù)據(jù)污染問題，并針對(duì)鴨嘴獸的數(shù)據(jù)集進(jìn)行了嚴(yán)格過濾。他們開發(fā)了一套啟發(fā)式方法，仔細(xì)檢查訓(xùn)練集中與測(cè)試集相似的問題，刪除或以任何方式將其標(biāo)記為潛在的測(cè)試數(shù)據(jù)泄露，避免了測(cè)試數(shù)據(jù)非故意地進(jìn)入訓(xùn)練集，保證了模型評(píng)估的公平性。
通過數(shù)據(jù)集優(yōu)化、模型微調(diào)技巧以及數(shù)據(jù)質(zhì)量控制，鴨嘴獸-70B得以在眾多開源大模型中脫穎而出，登上榜首。這為語言模型的訓(xùn)練提供了寶貴經(jīng)驗(yàn)，也使開源社區(qū)對(duì)自主研發(fā)強(qiáng)大AI模型更具信心。如果社會(huì)各界能堅(jiān)持開放創(chuàng)新、合作共贏的理念，我們離強(qiáng)人工智能的到來就不會(huì)太遠(yuǎn)了。
