開源VS閉源，Meta“格局打開”的同時(shí)打開了大模型競(jìng)賽新路

1998年，Christine Peterson首次提出“開源軟件”（Open Source Software）概念，自此，開源在全球蓬勃發(fā)展。二十多年過去，曾經(jīng)口口聲聲喊著“開源軟件是毒瘤”的微軟成為了“開源”的擁躉，Red Hat、SUSE等企業(yè)大力開發(fā)“開源”的樂土也由此獲得巨大的成功。

(資料圖片)

直至今日，我們看到開源技術(shù)愈發(fā)成熟，開源理念深入人心，越來越多的人投身于開源生態(tài)的建設(shè)當(dāng)中。與此同時(shí)，關(guān)于“開源”與“閉源”之爭(zhēng)在各個(gè)領(lǐng)域也都輪番上演，永不停歇。

當(dāng)下，在全球的大模型競(jìng)賽中，也迎來了開、閉源的一次“交鋒”。

上個(gè)星期，在微軟的Inspire 合作伙伴大會(huì)上，Meta宣布和微軟深化合作，正式推出新一代開源大型語言模型Llama 2，并宣稱這一模型將免費(fèi)開放給商業(yè)和研究使用。

Meta創(chuàng)始人扎克伯格在Facebook上發(fā)帖表示：“Meta有著悠久的開源歷史，開源推動(dòng)創(chuàng)新，它讓更多開發(fā)人員能夠使用新技術(shù)進(jìn)行開發(fā)，同時(shí)提高了技術(shù)的安全性。我們相信如果生態(tài)系統(tǒng)更加開放，將會(huì)帶來更多進(jìn)步，這就是我們開源 Llama 2 的原因?！?

顯而易見，Meta正在致力于打破OpenAI和谷歌正在構(gòu)建的技術(shù)高墻，力圖通過生態(tài)的開放打造一個(gè)真正“open”的AI產(chǎn)業(yè)。由此，大模型的競(jìng)逐，也再次迎來了新的發(fā)展局面。

01

Llama 2：能力超越 GPT-3，不及 GPT-3.5

什么是 Llama 2？

Llama 2是Meta今年3月初發(fā)布的 Llama 大模型的“升級(jí)”版本，相較于Llama 1，新版Llama 2 在模型規(guī)模、訓(xùn)練數(shù)據(jù)量、數(shù)據(jù)質(zhì)量、訓(xùn)練技術(shù)、模型結(jié)構(gòu)、安全訓(xùn)練等多個(gè)方面進(jìn)行了全面提升。

（Llama 2與Llama 1對(duì)比）

首先在模型規(guī)模上，據(jù)扎克伯格介紹，Llama 2的參數(shù)分別為70億，130億和700億三個(gè)版本。Llama 2 預(yù)訓(xùn)練模型接受了2萬億個(gè) tokens 的訓(xùn)練，上下文長度是 Llama 1 的兩倍，其微調(diào)模型已經(jīng)接受了超過 100 萬個(gè)人類注釋的訓(xùn)練。此外，其還將單條文本的最大長度從2048個(gè)token 提升至4096 個(gè)token，更長的文本輸入這也就意味著可以包含更多上下文信息，從而提升模型的理解能力。

在訓(xùn)練數(shù)據(jù)量上，官方數(shù)據(jù)顯示，Llama 2比Llama 1預(yù)訓(xùn)練的數(shù)據(jù)多40%，并對(duì)其架構(gòu)進(jìn)行了改進(jìn)。據(jù)悉，Llama 2 采用了分組查詢注意力機(jī)制（grouped-query attention），可以顯著降低計(jì)算和內(nèi)存需求，提高大型模型推理的可擴(kuò)展性及速度。

在安全性和質(zhì)量方面，Meta研究人員在一篇概述Llama 2的論文中表示：“我們已經(jīng)采取措施提高這些模型的安全性，使用特定于安全性的數(shù)據(jù)注釋和調(diào)整，以及進(jìn)行使用迭代評(píng)估?！睋?jù)介紹，Llama 2應(yīng)用了有監(jiān)督的微調(diào)和RLHF。

Meta聲稱，Llama 2 在許多外部基準(zhǔn)測(cè)試中都優(yōu)于Llama 1和其他開源大語言模型，包括推理、編碼、熟練程度和知識(shí)測(cè)試。

來自伯克利大學(xué)的人工智能專業(yè)博士Nathan Lambert在自己的博客中對(duì)Meta發(fā)表的Llama 2的論文發(fā)表了自己的看法。他表示，Llama 2模型評(píng)估結(jié)果令人興奮不已，在經(jīng)過基準(zhǔn)測(cè)試后，Llama 2已經(jīng)超越 GPT-3，在推理任務(wù)上，Llama 2 接近GPT-3.5，確定是第一個(gè)能達(dá)到ChatGPT水平的開源模型。

Nvidia高級(jí)AI科學(xué)家Jim Fan估測(cè)Llama-2的訓(xùn)練費(fèi)用可能超過 2000 萬美元，他表示，在“HumanEval”（標(biāo)準(zhǔn)編碼基準(zhǔn)）上，Llama-2 還與GPT-3.5存在顯著差距，它還不如 StarCoder 或其他許多專門為編碼而設(shè)計(jì)的模型。

盡管在能力方面，Llama-2還不及GPT-3.5，但它的意義不止于此，最令業(yè)內(nèi)激動(dòng)的地方，在于它免費(fèi)開放給商業(yè)和研究使用。

當(dāng)下， Meta已開源了Llama 2預(yù)訓(xùn)練模型的代碼和參數(shù)，并開放了商業(yè)使用許可。值得注意的是，月活量超過7億的產(chǎn)品需要另外申請(qǐng)商用許可。

作為Llama 2的首選合作伙伴微軟，Meta 表示，Llama 2 可在 Azure AI 模型目錄中使用，當(dāng)然，也可通過Amazon Web Services（AWS）、Hugging Face和其他提供商獲取使用。

02

格局打開？大模型競(jìng)逐新局面到來

對(duì)于此次Meta將免費(fèi)將 Llama 2開放給商業(yè)和研究使用，不少人評(píng)論道：“格局打開了”，相較于走閉源路線的OpenAI，Meta真正做到了“Open”。

對(duì)于愈發(fā)激烈的大模型競(jìng)賽而言，這又意味著什么？

用圖靈獎(jiǎng)得主、Meta 首席人工智能科學(xué)家 Yann LeCun的話來說，Meta此舉或?qū)⒏淖兇竽Ｐ托袠I(yè)的競(jìng)爭(zhēng)格局。

如果說 OpenAI發(fā)起了大模型的競(jìng)賽開始，那么，Meta則打開了大模型競(jìng)逐的新局面，開源大模型的新路由此開辟。

開源的意義在哪里？小米副總裁崔寶秋曾指出，開源的本質(zhì)是協(xié)同和創(chuàng)新，協(xié)同是全世界所有人各方開源力量的協(xié)同，創(chuàng)新是一個(gè)技術(shù)的創(chuàng)新。

簡單來說，開源大模型將能匯聚更多的技術(shù)創(chuàng)新力量，在這里，全球開發(fā)者、研究機(jī)構(gòu)、科技企業(yè)將一同協(xié)同共建，大家一塊讓模型的數(shù)據(jù)更加豐富、模型更加優(yōu)化、工具更加完善、應(yīng)用更加全面...可以說是“眾人拾柴火焰高”，從而加速大模型技術(shù)的迭代升級(jí)、應(yīng)用的豐富發(fā)展，為大模型的發(fā)展方向打開更多的可能性，同時(shí)也惠及更多的人群。

此外，開源也就意味著個(gè)人開發(fā)者和中小型企業(yè)能夠以最低的成本調(diào)用Llama 2大模型，而不是花費(fèi)高昂的成本采購閉源大模型，這也有利于開源大模型用戶的吸納與培養(yǎng)以及大模型開源生態(tài)的構(gòu)建。

據(jù)悉，當(dāng)下開源社區(qū)Hugging Face已成為“頂流中的頂流”，其上面有超 25 萬個(gè)模型，包括 Meta 的Llama 2、國內(nèi)搜狐創(chuàng)始人王小川創(chuàng)立的百川智能的大語言模型“百川”。

可以說，開源是吸納、培養(yǎng)用戶、確定行業(yè)標(biāo)準(zhǔn)的重要途經(jīng)，也是避免當(dāng)下AI大模型企業(yè)一輪又一輪重復(fù)造輪子、低成本試錯(cuò)的理想商業(yè)化手段。

03

開源vs 閉源：兩者并非選擇題

開源大模型出現(xiàn)后，隨之而來的便是一道選擇題：模型的底座選擇到底是開源還是閉源？

盡管開源“免費(fèi)的飯很香”，但也并非不存在問題，或者說，在很多層面，閉源大模型仍保持著領(lǐng)先優(yōu)勢(shì)。

一方面，在模型質(zhì)量上，閉源大模型的質(zhì)量更高，比如說最前沿的GPT-4便是閉源大模型，正如前文所言，哪怕是當(dāng)下可以說是最強(qiáng)勢(shì)的Llama-2 還與GPT-3.5存在顯著差距。

數(shù)據(jù)顯示，在學(xué)術(shù)界廣為引用的、由斯坦福大學(xué)計(jì)算機(jī)系研究團(tuán)隊(duì)發(fā)表的《Holistic Evaluation of Language Models》論文中，對(duì)國外30個(gè)主流語言模型在準(zhǔn)確率、魯棒性、公平性、推理等主要指標(biāo)進(jìn)行評(píng)測(cè)，便發(fā)現(xiàn)：開源（Open）模型在大多數(shù)指標(biāo)上表現(xiàn)弱于閉源（Close）或部分開源（Limited）的模型。

另一方面，大模型最終指向的還是產(chǎn)業(yè)落地，在商業(yè)化落地上，閉源大模型的能力更強(qiáng)。大模型要想落地就必須與企業(yè)業(yè)務(wù)相結(jié)合，這需要專業(yè)的人提供專業(yè)的服務(wù)能力，讓大模型的能力與業(yè)務(wù)場(chǎng)景完美融合，并非一朝一夕的事情，需要長期賦能，這不是免費(fèi)的開源大模型能做到的事情。

此外，大多數(shù)的開源大模型是“站在巨人肩膀上”推出的，也就是說處于領(lǐng)先水平的開源模型都是由大企業(yè)開發(fā)，話語權(quán)也都掌握在他們手中，繁榮的背后也存在著一絲不確定性。

換言之，著眼當(dāng)下，閉源大模型是大模型落地商業(yè)化更優(yōu)的選擇，但這不代表，只能選擇閉源大模型，放眼未來，開源大模型是讓AI普惠化實(shí)現(xiàn)的重要方向。

俗話說，小孩子才做選擇，大人的世界是全都要，開源與閉源并非選擇題，也正如百川智能創(chuàng)始人王小川所言：“今天不能簡單的說我們未來大模型就是走向OpenAI——閉源的中心化的模型。開源實(shí)際上是具備著很大的可能性，有可能蘊(yùn)含著極大商業(yè)模式和價(jià)值。”

總言之，在大模型這場(chǎng)競(jìng)賽中，我們期待看到閉源大模型深扎產(chǎn)業(yè)，讓AI的智能力量真正飛入“千萬家”，也期待著開源大模型根深葉茂，肆意生長為大模型的迭代、AI產(chǎn)業(yè)的發(fā)展開拓更多的想象空間。

關(guān)鍵詞：