破解「CloseAI」，ChatGPT克隆羊問(wèn)世！0門(mén)檻實(shí)現(xiàn)「自研」，從此大語(yǔ)言模型不再只是少數(shù)大公司的「金手指」。

此前，OpenAI不Open的事件，已經(jīng)引發(fā)了坊間的諸多爭(zhēng)議。

(資料圖片)

光放出基準(zhǔn)和測(cè)試結(jié)果，不提供訓(xùn)練數(shù)據(jù)、成本、方法，是真的要「贏家通吃」了。

眼看大語(yǔ)言模型似乎要被巨頭公司壟斷，如今忽然殺出一個(gè)初創(chuàng)公司，給了OpenAI一槍——用60億參數(shù)的「Dolly」實(shí)現(xiàn)了和ChatGPT相似的能力。

沒(méi)錯(cuò)，我們現(xiàn)在只需要準(zhǔn)備一些高質(zhì)量的訓(xùn)練數(shù)據(jù)，再隨便拿一個(gè)開(kāi)源的大語(yǔ)言模型，訓(xùn)練30分鐘后，就能得到一個(gè)ChatGPT「平替」！

對(duì)此，Databricks自豪地表示，Dolly的發(fā)布，就是自己在人工智能技術(shù)民主化道路上打響的第一彈。

60億參數(shù)堪比ChatGPT，30分鐘就訓(xùn)好

由于ChatGPT需要消耗大量的數(shù)據(jù)和算力資源（利用數(shù)萬(wàn)億個(gè)單詞訓(xùn)練，消耗大量GPU），所以這類(lèi)大語(yǔ)言模型注定只能被少量巨頭所掌握。

和「CloseAI」相反，Meta在今年3月向?qū)W術(shù)界發(fā)布了一組高質(zhì)量（但不是指令跟隨的）語(yǔ)言模型LLaMA，每個(gè)模型的訓(xùn)練時(shí)間超過(guò)了80,000個(gè)GPU小時(shí)。

隨后，斯坦福大學(xué)基于LLaMA構(gòu)建了Alpaca，但不同之處在于，它利用一個(gè)包含50,000個(gè)問(wèn)題和答案的小數(shù)據(jù)集進(jìn)行了微調(diào)。令人驚訝的是，這使得Alpaca具有了類(lèi)似于ChatGPT的交互性。

而Dolly正是受到了Alpaca的啟發(fā)。

更有趣的是，擁有60億參數(shù)的Dolly并沒(méi)有利用現(xiàn)在最新的模型，而是選擇了一個(gè)2021年發(fā)布的開(kāi)源模型——GPT-J。

由于Dolly本身是一個(gè)模型的「克隆」，所以團(tuán)隊(duì)最終決定將其命名為「多利」——有史以來(lái)第一個(gè)被克隆的動(dòng)物。

與當(dāng)前的大型語(yǔ)言模型（如GPT-3）相比，Dolly允許用戶(hù)使用更小、更專(zhuān)業(yè)的模型，「復(fù)刻」ChatGPT的能力。

畢竟對(duì)于那些細(xì)分用戶(hù)來(lái)說(shuō)，能夠利用針對(duì)本行業(yè)進(jìn)行過(guò)精調(diào)的模型，可以大大增加性能和準(zhǔn)確性。

盡管Databricks與OpenAI并無(wú)直接競(jìng)爭(zhēng)關(guān)系，但它似乎想通過(guò)證明構(gòu)建類(lèi)似ChatGPT這樣的服務(wù)并非看起來(lái)那么困難，來(lái)?yè)屨糘penAI的風(fēng)頭。

尤其是，OpenAI采取了「規(guī)模越大越好」的方法來(lái)開(kāi)發(fā)語(yǔ)言模型，并對(duì)其工作越來(lái)越保密。

Databricks除了將Dolly作為開(kāi)源軟件發(fā)布外，還強(qiáng)調(diào)Dolly只有60億個(gè)參數(shù)（在訓(xùn)練過(guò)程中微調(diào)的語(yǔ)言模型部分），而OpenAI的GPT-3模型有1750億個(gè)參數(shù)。（OpenAI并未透露GPT-4的參數(shù)數(shù)量）。

讓老模型，涅槃重生

根據(jù)InstructGPT論文中描述的指令跟隨能力，對(duì)Dolly進(jìn)行評(píng)估后發(fā)現(xiàn)，它在很多能力上的表現(xiàn)和ChatGPT十分類(lèi)似，包括文本生成、頭腦風(fēng)暴和開(kāi)放式問(wèn)答。

在這些例子中，值得注意的不是生成文本的質(zhì)量，而是在一個(gè)小型的高質(zhì)量數(shù)據(jù)集上，微調(diào)一個(gè)舊的開(kāi)源模型所帶來(lái)的指令跟隨能力的巨大改進(jìn)。

內(nèi)容生成

比如，寫(xiě)一條Databricks官宣大規(guī)模語(yǔ)言模型Dolly發(fā)布的推特。

可以看到，原始的60億參數(shù)模型（GPT-J）所生成的內(nèi)容驢唇不對(duì)馬嘴，而Dolly則給出了一個(gè)完全可用的推文——

不僅內(nèi)容符合要求，而且還貼心地加上了標(biāo)簽，以及提醒你記得加入發(fā)布的鏈接。

對(duì)于這一題，ChatGPT給出的答案也很符合期待，相比于Dolly，ChatGPT給出的推文包含了更多評(píng)述性詞句，并且標(biāo)簽也更加精準(zhǔn)具體，但整體差距不大。

當(dāng)要寫(xiě)一條出售Nikon D-750相機(jī)的廣告時(shí)，可以看到，GPT-J所生成的內(nèi)容基本就在胡編亂造，像是在寫(xiě)小說(shuō)一樣杜撰購(gòu)買(mǎi)和出售相機(jī)的劇情……

而Dolly則根據(jù)Nikon D-750相機(jī)的特點(diǎn)及優(yōu)勢(shì)，給出了一則吸引人的相機(jī)轉(zhuǎn)賣(mài)廣告語(yǔ)，但遺憾的是像素參數(shù)不對(duì)。

ChatGPT在這一題上也是圓滿(mǎn)完成任務(wù)，廣告語(yǔ)中突出該款相機(jī)的優(yōu)勢(shì)，文末仍然貼心地加上了標(biāo)簽。

最后一題：給Edgar Allan Poe（愛(ài)倫·坡）寫(xiě)一封情書(shū)。

對(duì)此，古早的GPT-J直接拒絕回答，究其原因竟然是——愛(ài)倫·坡已經(jīng)去世了，你不能給死人寫(xiě)情書(shū)。

而Dolly則成功地完成了任務(wù)，效果對(duì)比起來(lái)堪稱(chēng)「涅槃」。

而這種「創(chuàng)造性」問(wèn)題，顯然是ChatGPT的強(qiáng)項(xiàng)，它洋洋灑灑地寫(xiě)了300多個(gè)字。

開(kāi)放問(wèn)答

在事實(shí)性問(wèn)題的問(wèn)答測(cè)試上，團(tuán)隊(duì)選擇了下面這個(gè)：「向我解釋一下核裂變和核聚變之間的區(qū)別?！?/p>

先不管對(duì)錯(cuò)，GPT-J全篇都是在講太陽(yáng)如何如何，雖然提到了「聚變」這個(gè)詞，但完全無(wú)視了「裂變」。

而Dolly第一句就直接點(diǎn)題——核裂變和核聚變的區(qū)別在于釋放能量的方式，隨后簡(jiǎn)單解釋了他們的不同。

相比之下，ChatGPT給出的回答明顯要更加翔實(shí)。

頭腦風(fēng)暴

當(dāng)讓它們頭腦風(fēng)暴，給出應(yīng)該閱讀的五本科幻小說(shuō)的名單，GPT-J則只是在喃喃自語(yǔ)，像是沉浸在了拖延閱讀而產(chǎn)生的愧疚情緒中，完全回避了這個(gè)提問(wèn)。

Dolly則一如既往的表現(xiàn)穩(wěn)定，按照指令給出了5本科幻小說(shuō)的書(shū)名及其作者。

ChatGPT對(duì)于該問(wèn)題給出了更加豐富的回答，不僅包括書(shū)名和作者，還對(duì)每一本書(shū)的內(nèi)容、類(lèi)型作了簡(jiǎn)要評(píng)述和介紹。

你要Close，我就Open

對(duì)于很多公司而言，寧愿自己建立一個(gè)不那么強(qiáng)的模型，也不愿將數(shù)據(jù)發(fā)送給那些只提供API的大語(yǔ)言模型供應(yīng)商。

其中一個(gè)重要原因便是，這些問(wèn)題和數(shù)據(jù)集是公司最敏感和專(zhuān)有的知識(shí)產(chǎn)權(quán)，直接將其交給第三方顯然是不靠譜的。

此外，公司自身可能在模型質(zhì)量、成本和期望行為方面有不同的權(quán)衡，一種可定制化的語(yǔ)言模型更加符合需求。

現(xiàn)在，Dolly的發(fā)布給了他們希望——即便是一個(gè)「過(guò)時(shí)」的開(kāi)源大型語(yǔ)言模型 (LLM)，也能通過(guò)30分的訓(xùn)練，賦予它神奇的類(lèi)似ChatGPT的指令跟隨能力。

不難想象，大語(yǔ)言模型或許很快就不是AI巨頭公司獨(dú)占的玩法了！

正如公司CEO Ali Ghodsi所說(shuō)，「我們的信念是，讓全世界的每個(gè)組織都能利用這些技術(shù)?！?/p>

參考資料：

https://www.databricks.com/blog/2023/03/24/hello-dolly-democratizing-magic-chatgpt-open-models.html

https://venturebeat.com/ai/databricks-debuts-chatgpt-like-dolly-a-clone-any-enterprise-can-own/

關(guān)鍵詞：