世界熱訊:MosaicML 推出 300 億參數(shù)模型，訓(xùn)練成本 70 萬

(資料圖)

AI 創(chuàng)業(yè)公司 MosaicML 近日發(fā)布了其語言模型 MPT-30B，單從參數(shù)來看，這個模型具有 300 億參數(shù)，放在如今動則上千億參數(shù)的模型領(lǐng)域中并沒有什么突出的地方。但這個新模型的訓(xùn)練成本卻只有其他模型的零頭，有望擴大模型在更廣泛領(lǐng)域的運用。

MosaicML 的首席執(zhí)行官兼聯(lián)合創(chuàng)始人 Naveen Rao 表示，MPT-30B 的訓(xùn)練成本為 70 萬美元，遠低于訓(xùn)練 GPT-3 所需的數(shù)千萬美元。此外，MPT-30B 模型的質(zhì)量超過了 OpenAI 在 2020 年發(fā)布的初版 GPT-3。由于 MPT-30B 的成本較低，體積較小，它也可以更快速地被訓(xùn)練，并部署在本地硬件設(shè)備上。

MosaicML 使用了 Alibi 和 FlashAttention 技術(shù)來優(yōu)化模型，可以實現(xiàn)更長的文本長度和對 GPU 計算的高利用率。MosaicML 也是少數(shù)幾個能夠使用 Nvidia H100 GPU 的實驗室，相比以往，這使得每 GPU 的吞吐量增加了 2.4 倍以上，帶來更快的完成時間。

300 億參數(shù)這是一個在大模型領(lǐng)域經(jīng)?？吹降臄?shù)字，300 億參數(shù)為什么這么特殊呢？MosaicML 首席科學(xué)家 Frankle 則解釋道，首先 300 億參數(shù)能夠確保它可以在本地硬件上輕松運行，同時保持質(zhì)量與 GPT-3 差不多或略優(yōu)于它。

其次任何超過 300 億參數(shù)限制的模型都需要將模型分解成多個平行段，通常也需要更加昂貴的多 GPU 設(shè)置。

除了讓 AI 技術(shù)更容易獲得之外，MosaicML 還專注于提高數(shù)據(jù)質(zhì)量，以提高模型性能。他們目前正在開發(fā)工具，幫助用戶在預(yù)訓(xùn)練過程中分層加入特定領(lǐng)域的數(shù)據(jù)。這確保了多樣化和高質(zhì)量的數(shù)據(jù)組合。將模型擴展到 300 億參數(shù)只是 MosaicML 的第一步，接下來他們將以降低成本為前提，推出更大的、更高質(zhì)量的模型。

開發(fā)者可以從 Hugging Face 下載并使用開源的 MPT-30B 基礎(chǔ)模型，開發(fā)者還可以在自己的硬件上用自己的數(shù)據(jù)對模型進行微調(diào)。

關(guān)鍵詞：