極客號(hào)（Daydx.com）6月6日 消息:盡管大規(guī)模語(yǔ)言模型在各種自然語(yǔ)言處理任務(wù)中展現(xiàn)出卓越的性能，但算術(shù)類問(wèn)題仍然是一個(gè)難題，即使是目前最強(qiáng)大的GPT-4也很難解決基本的運(yùn)算問(wèn)題。
最近，來(lái)自新加坡國(guó)立大學(xué)的研究人員提出了一個(gè)專門(mén)用于算術(shù)問(wèn)題的模型，名為Goat。在對(duì)LLaMA模型進(jìn)行微調(diào)后，Goat在算術(shù)上實(shí)現(xiàn)了比GPT-4更出色的性能。
通過(guò)微調(diào)合成的算術(shù)數(shù)據(jù)集，Goat在BIG-bench算術(shù)子任務(wù)上實(shí)現(xiàn)了最先進(jìn)的性能。通過(guò)監(jiān)督微調(diào)，Goat在大數(shù)加減運(yùn)算中實(shí)現(xiàn)了準(zhǔn)確率近乎完美，超越了之前所有的預(yù)訓(xùn)練語(yǔ)言模型，例如Bloom、OPT、GPT-NeoX等。其中，零樣本的Goat-7B所達(dá)到的精度甚至超過(guò)了少樣本學(xué)習(xí)后的PaLM-540。
論文地址:https://arxiv.org/pdf/2305.14201.pdf
研究人員將Goat的卓越性能歸功于LLaMA的數(shù)字一致性分詞技術(shù)。
為了解決更具挑戰(zhàn)性的任務(wù)，例如大數(shù)乘法和除法，研究人員提出了一種方法，將任務(wù)根據(jù)算術(shù)的可學(xué)習(xí)性進(jìn)行分類，然后利用基本算術(shù)原理將不可學(xué)習(xí)的任務(wù)（例如多位數(shù)乘法和除法）分解為一系列可學(xué)習(xí)的任務(wù)。通過(guò)全面實(shí)驗(yàn)驗(yàn)證后，文中提出的分解步驟可以有效地提高算術(shù)性能。
此外，Goat-7B可以在24GB VRAM GPU上使用LoRA進(jìn)行高效訓(xùn)練。而其他研究人員也可以很容易地重復(fù)這個(gè)實(shí)驗(yàn)，因?yàn)樵撃Ｐ?、?shù)據(jù)集和生成數(shù)據(jù)集的Python腳本即將開(kāi)源。
