極客號(hào)（Daydx.com）8月4日 消息:Abacus.AI LLM Context Expansion 是一款能夠擴(kuò)展語境長(zhǎng)度的工具，可以幫助用戶擴(kuò)展模型的語境長(zhǎng)度，提高模型對(duì)長(zhǎng)文本的處理能力。該工具基于 Abacus.AI 的 LLM（Language Model for Long-form Content）架構(gòu)，提供了一系列代碼和工具，用于增加模型對(duì)長(zhǎng)文本的理解能力。通過預(yù)訓(xùn)練和微調(diào)，該工具可以使模型在處理超過2048個(gè)單詞的文本時(shí)仍然能夠保持高效和準(zhǔn)確。
項(xiàng)目地址:https://github.com/abacusai/Long-Context
要點(diǎn):
1、Abacus AI 的研究人員通過多次實(shí)驗(yàn)，發(fā)現(xiàn)將 LLMs 的上下文長(zhǎng)度能力擴(kuò)展到更長(zhǎng)的上下文是可行的。
2、研究人員使用不同的方法對(duì) RedPajama 數(shù)據(jù)集進(jìn)行了 fine-tune，并發(fā)現(xiàn)線性縮放方法在模型上下文長(zhǎng)度上效果良好，而截?cái)嗪碗S機(jī)化方法在檢索任務(wù)上效果較差。
3、通過評(píng)估模型在不同數(shù)據(jù)集上的表現(xiàn)，研究人員發(fā)現(xiàn)將上下文長(zhǎng)度進(jìn)行縮放可以顯著提高模型的性能，進(jìn)而改進(jìn)模型的困惑度，并更好地捕捉文檔的主題。
4、Abacus.AI LLM Context Expansion 提供了評(píng)估腳本和基準(zhǔn)任務(wù)，用于評(píng)估模型在信息檢索方面的能力，并提供了重要的實(shí)驗(yàn)結(jié)果和復(fù)現(xiàn)指南，以幫助用戶進(jìn)一步改進(jìn)和構(gòu)建自己的模型。
5、Abacus.AI提供預(yù)訓(xùn)練模型權(quán)重，對(duì)于表現(xiàn)最好的模型（線性插值 + 指令微調(diào)，在縮放因子為4和16時(shí)），該工具提供了預(yù)訓(xùn)練模型的權(quán)重，方便用戶直接使用或進(jìn)行自己的測(cè)試。
