極客號(hào)(Xqh8.com) 7月20日 消息:本文將為大家介紹最新發(fā)布的 GPT 模型 LLaMA 2 的新功能和更新內(nèi)容。LLaMA 2 在原始模型基礎(chǔ)上進(jìn)行了改進(jìn)，包括使用 40% 更大的數(shù)據(jù)集、經(jīng)過強(qiáng)化學(xué)習(xí)和人類反饋調(diào)優(yōu)的聊天變體以及可擴(kuò)展到 700 億參數(shù)的模型。文章還會(huì)為大家展示如何在 Paperspace Gradient 筆記本中運(yùn)行 LLaMA 2 模型的演示。
型號(hào)概覽
讓我們首先概述 LLaMA 2 中可用的新技術(shù)。我們將首先回顧原始的 LLaMA 架構(gòu)，該架構(gòu)在新版本中沒有變化，然后檢查更新的訓(xùn)練數(shù)據(jù)、新的聊天變體及其 RHLF 調(diào)整方法，以及與其他開源和閉源模型相比，完全擴(kuò)展的 70B 參數(shù)模型的功能。
LLaMA 2 模型架構(gòu)
LLaMA 和 LLaMA 2 模型是基于原始 Transformers 架構(gòu)的生成式預(yù)訓(xùn)練 Transformer 模型。我們在最初的 LLaMA 文章中詳細(xì)概述了 LLaMA 模型與之前的 GPT 架構(gòu)迭代的區(qū)別，但總結(jié)如下：
LLaMA 模型具有類似于預(yù)歸一化的 GPT-3 功能。這有效地提高了訓(xùn)練的穩(wěn)定性。在實(shí)踐中，他們使用 RMS Norm 歸一化函數(shù)來歸一化每個(gè)變壓器子層的輸入而不是輸出。這重新調(diào)整了不變性屬性和隱式學(xué)習(xí)率適應(yīng)能力LLaMA 使用 SwiGLU 激活函數(shù)而不是 ReLU 非線性激活函數(shù)，顯著提高了訓(xùn)練性能借鑒 GPT-Neo-X 項(xiàng)目，LLaMA 在網(wǎng)絡(luò)的每一層都具有旋轉(zhuǎn)位置嵌入 (RoPE)。
正如 LLaMA 2 論文附錄中所報(bào)告的，與原始模型的主要架構(gòu)差異是增加了上下文長度和分組查詢注意力 (GQA)。上下文窗口的大小增加了一倍，從 2048 個(gè)標(biāo)記增加到 4096 個(gè)標(biāo)記。更長的處理窗口使模型能夠產(chǎn)生和處理更多的信息。值得注意的是，這有助于理解長文檔、聊天歷史和摘要任務(wù)。此外，他們還更新了注意力機(jī)制來處理上下文數(shù)據(jù)的規(guī)模。他們比較了原始的多頭注意力基線、具有單個(gè)鍵值投影的多查詢格式以及具有 8 個(gè)鍵值投影的分組查詢注意力格式，以處理原始 MHA 格式的成本，其復(fù)雜性顯著增加增加上下文窗口或批量大小。
總之，這些更新使 LLaMA 在各種不同任務(wù)中的表現(xiàn)明顯優(yōu)于許多競爭模型。從 LLaMA 2 項(xiàng)目頁面提供的上圖可以看出，與 Falcon 和 MPT 等專用和替代 GPT 模型相比，LLaMA 的性能非常好或幾乎一樣好。我們期待在未來幾個(gè)月內(nèi)進(jìn)行研究，展示它與 GPT-4 和 Bard 等大型閉源模型的比較。
更新的訓(xùn)練集
LLaMA 2 具有更新和擴(kuò)展的訓(xùn)練集。據(jù)稱，該數(shù)據(jù)集比用于訓(xùn)練原始 LLaMA 模型的數(shù)據(jù)大 40%。即使對(duì)于最小的 LLaMA 2 模型，這也具有良好的意義。此外，這些數(shù)據(jù)經(jīng)過明確篩選，不包括來自顯然包含大量私人和個(gè)人信息的網(wǎng)站的數(shù)據(jù)。
他們總共訓(xùn)練了 2 萬億個(gè)代幣的數(shù)據(jù)。他們發(fā)現(xiàn)這個(gè)數(shù)量在成本效益權(quán)衡方面效果最好，并對(duì)最真實(shí)的來源進(jìn)行了上采樣，以減少錯(cuò)誤信息和幻覺的影響。
聊天變體
Chat 變體 LLaMA 2-Chat 是經(jīng)過數(shù)月的對(duì)齊技術(shù)研究而創(chuàng)建的。通過監(jiān)督微調(diào)、RHLF 和迭代微調(diào)的融合，與原始模型相比，Chat 變體在 LLaMA 模型的人類交互性方面向前邁出了實(shí)質(zhì)性一步。
使用與原始 LLaMA 模型相同的數(shù)據(jù)和方法進(jìn)行監(jiān)督微調(diào) 。這是使用“有用”和“安全”響應(yīng)注釋來完成的，當(dāng)模型意識(shí)到或不知道正確的響應(yīng)時(shí)，它們會(huì)引導(dǎo)模型做出正確的響應(yīng)類型。
LLaMA 2 使用的 RHLF 方法涉及收集大量人類偏好數(shù)據(jù)，以供研究人員使用注釋器團(tuán)隊(duì)收集獎(jiǎng)勵(lì)方法。這些注釋者將評(píng)估兩個(gè)輸出的質(zhì)量，并對(duì)這兩個(gè)輸出進(jìn)行相互比較的定性評(píng)估。這使得模型能夠獎(jiǎng)勵(lì)首選的答案，并對(duì)其賦予更大的權(quán)重，并對(duì)收到的不良答案進(jìn)行相反的操作。
最后，隨著他們收集更多數(shù)據(jù)，他們通過使用改進(jìn)的數(shù)據(jù)訓(xùn)練模型的連續(xù)版本，迭代改進(jìn)了之前的 RHLF 結(jié)果。
有關(guān)這些模型的聊天變體的更多詳細(xì)信息，請務(wù)必查看論文。
可擴(kuò)展至 700 億個(gè)參數(shù)
最大的 LLaMA 2 模型有 700 億個(gè)參數(shù)。參數(shù)計(jì)數(shù)是指權(quán)重的數(shù)量，如 float32 變量中的權(quán)重?cái)?shù)量，它被調(diào)整以對(duì)應(yīng)于整個(gè)語料庫中使用的文本變量的數(shù)量。因此，相應(yīng)的參數(shù)計(jì)數(shù)與模型的能力和大小直接相關(guān)。新的 70B 模型比 LLaMA 1 發(fā)布的最大 65B 模型更大。從上表中我們可以看到，即使與 ChatGPT (GPT3.5) 等閉源模型相比，放大的 70B 模型也表現(xiàn)良好。它還有很長的路要走，以匹配 GPT-4，但來自開源社區(qū)的額外指令調(diào)整和 RHLF 項(xiàng)目可能會(huì)進(jìn)一步縮小差距。
考慮到 ChatGPT 的訓(xùn)練規(guī)模為 1750 億個(gè)參數(shù)，這使得 LLaMA 的成就更加令人印象深刻。
演示
現(xiàn)在讓我們跳進(jìn)漸變筆記本來看看如何在我們自己的項(xiàng)目中開始使用 LLaMA 2。運(yùn)行此程序所需的只是一個(gè) Gradient 帳戶，這樣我們就可以訪問免費(fèi) GPU 產(chǎn)品。這樣，如果需要，我們甚至可以擴(kuò)展到在 A100 GPU 上使用 70B 模型。
我們將使用在基于 Gradio 的 Oogabooga 文本生成 Web UI 上運(yùn)行的 GPTQ 版本來運(yùn)行模型。該演示將展示如何設(shè)置筆記本、下載模型以及運(yùn)行推理。
（點(diǎn)此可在免費(fèi) GPU 驅(qū)動(dòng)的 Gradient Notebook 中打開此項(xiàng)目）
設(shè)置
我們將從設(shè)置環(huán)境開始。我們已經(jīng)啟動(dòng)了我們的筆記本，并以 WebUI 存儲(chǔ)庫作為根目錄。首先，讓我們打開llama.ipynb筆記本文件。這包含我們在 Web UI 中運(yùn)行模型所需的一切。
我們首先使用提供的文件安裝需求requirements.txt。我們還需要更新一些額外的軟件包。運(yùn)行下面的單元格將為我們完成設(shè)置：
!pipinstall-rrequirements.txt!pipinstall-Udatasetstransformerstokenizerspydanticauto_gptqgradio
現(xiàn)在它已經(jīng)運(yùn)行了，我們已經(jīng)準(zhǔn)備好運(yùn)行 Web UI 了。接下來，讓我們下載模型。
下載模型
Oogabooga 文本生成 Web UI 旨在使 GPT 模型的運(yùn)行推理和訓(xùn)練變得極其簡單，并且它特別適用于 HuggingFace 格式的模型。為了方便訪問這些大文件，他們提供了一個(gè)模型下載腳本，可以輕松下載任何 HuggingFace 模型。
運(yùn)行第二個(gè)代碼單元中的代碼以下載 LLaMA 2 的 7B 版本以運(yùn)行 Web UI。我們將下載模型的GPTQ優(yōu)化版本，這可以顯著降低使用量化運(yùn)行模型的成本。
!pythondownload-model.pyTheBloke/Llama-2-7B-GPTQ
幾分鐘后模型下載完成后，我們就可以開始了。
啟動(dòng)應(yīng)用程序
我們現(xiàn)在準(zhǔn)備加載應(yīng)用程序！只需運(yùn)行 Notebook 末尾的代碼單元即可啟動(dòng) Web UI。檢查單元格的輸出，找到公共 URL，然后打開 Web UI 以開始。這將以 8 位格式自動(dòng)加載模型。
!pythonserver.py--share--modelTheBloke_Llama-2-7B-chat-GPTQ--load-in-8bit--bf16--auto-devices
可以通過任何可訪問互聯(lián)網(wǎng)的瀏覽器從任何地方訪問此公共鏈接。
我們將看到的第一個(gè)選項(xiàng)卡是文本生成選項(xiàng)卡。我們可以在此處使用文本輸入查詢模型。在上面，我們可以看到 LLaMA 2 的聊天變體被詢問一系列與 LLaMA 架構(gòu)相關(guān)的問題的示例。
頁面左下角有很多提示模板可供我們選擇。這些有助于調(diào)整聊天模型給出的響應(yīng)。然后我們可以輸入我們喜歡的任何問題或說明。該模型將使用右側(cè)的輸出讀取器將結(jié)果流式傳輸回給我們。
我們還想指出參數(shù)、模型和訓(xùn)練選項(xiàng)卡。在參數(shù)選項(xiàng)卡中，我們可以調(diào)整各種超參數(shù)以對(duì)模型進(jìn)行推理。模型選項(xiàng)卡允許我們加載任何具有或不具有適當(dāng) LoRA（低階適應(yīng)）模型的模型。最后，訓(xùn)練選項(xiàng)卡讓我們可以根據(jù)我們可能提供的任何數(shù)據(jù)訓(xùn)練新的 LoRA。這可用于在 Web UI 中重新創(chuàng)建 Alpaca 或 Vicuna 等項(xiàng)目。
結(jié)束語
LLaMA 2 是開源大型語言建模向前邁出的重要一步。從論文和他們研究團(tuán)隊(duì)提出的結(jié)果，以及我們自己使用模型后的定性猜想來看，LLaMA2 將繼續(xù)推動(dòng)LLM的擴(kuò)散和發(fā)展越來越遠(yuǎn)。我們期待未來基于該項(xiàng)目并對(duì)其進(jìn)行擴(kuò)展的項(xiàng)目，就像 Alpaca 之前所做的那樣。
