在和文心一言侃大山的過(guò)程中，它時(shí)而瘋狂、時(shí)而理性，甚至學(xué)會(huì)了“小聰明”。但可以感受到的是，這位不完美小孩正在悄悄努力，等待驚艷眾人。

頂著GPT-4的壓力，百度在昨天推出了自己的新一代大語(yǔ)言模型、生成式AI產(chǎn)品文心一言。

(資料圖片)

百度創(chuàng)始人、董事長(zhǎng)兼CEO李彥宏坦誠(chéng)，文心一言還算不上完美，但因?yàn)椤笆袌?chǎng)催生”，百度選擇在此時(shí)發(fā)布。

發(fā)布會(huì)現(xiàn)場(chǎng)，李彥宏用提前錄制好的視頻展示了文心一言的文學(xué)創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理邏輯推算、中文理解、多模態(tài)生成等五方面功能。

在錄制好的視頻里，文心一言幫劉慈欣續(xù)寫(xiě)了《三體》，介紹了洛陽(yáng)紙貴背后的經(jīng)濟(jì)學(xué)原理，算了雞兔同籠數(shù)學(xué)題，根據(jù)指令生成了海報(bào)和一段宣傳視頻。

真實(shí)的文心一言表現(xiàn)究竟如何？可以PK ChatGPT還是只是ChatPPT？全天候科技與“文心一言”聊了聊。

01 天才和瘋子間的“一步之遙”？

讓我們先來(lái)看看文心一言是如何介紹自己和競(jìng)品的。

至此，文心一言的表現(xiàn)令人滿意，它準(zhǔn)確清楚地回答了問(wèn)題。

不過(guò)，當(dāng)我們繼續(xù)追問(wèn)，它開(kāi)始一本正經(jīng)的“胡說(shuō)八道”。

面對(duì)“你和李彥宏是什么關(guān)系”這個(gè)基礎(chǔ)事實(shí)性問(wèn)題，文心一言“野心”不小。它回答：自己和李彥宏都是百度的創(chuàng)始人，它負(fù)責(zé)管理產(chǎn)品技術(shù)相關(guān)的業(yè)務(wù)，而李彥宏主要負(fù)責(zé)戰(zhàn)略和執(zhí)行方面的工作。

當(dāng)我們讓他以百度CEO的身份來(lái)回答媒體問(wèn)題時(shí)，可謂是相當(dāng)官方。似乎說(shuō)了又似乎沒(méi)說(shuō)，試圖劃水掩蓋了其“假CEO”身份。

當(dāng)我們想讓它用一幅畫(huà)來(lái)描述它自己時(shí)，它又開(kāi)始胡說(shuō)八道。說(shuō)自己是一位才華橫溢的畫(huà)家，甚至編造了這位畫(huà)家作品的特色。

雖然瘋狂，但是看得出文心一言也有相當(dāng)?shù)倪M(jìn)化速度。

在昨天的一條測(cè)試內(nèi)容中，針對(duì)提問(wèn)者的故意設(shè)坑，文心一言顯然未能避開(kāi)，甚至給出了讓人匪夷所思的答案。

但在今天問(wèn)出同樣的問(wèn)題時(shí)，它已經(jīng)走上了正道：

讓它評(píng)價(jià)自己時(shí)，文心一言的“智商”又回歸了。面對(duì)“怎么看自己不完美”、“怎么看網(wǎng)友評(píng)價(jià)PPT”，以及“自己是否認(rèn)為自己是PPT”三連問(wèn)，文心一言不僅頂住了壓力，還表現(xiàn)的“不卑不亢”。

它給上述三個(gè)問(wèn)題的答案相似。堅(jiān)持稱(chēng)自己沒(méi)有情感和意識(shí)，不能對(duì)自己的完美程度進(jìn)行評(píng)判，但是它可以理解人們對(duì)完美的追求，并表示自己在不斷學(xué)習(xí)和改進(jìn)。態(tài)度可以說(shuō)是相當(dāng)謙遜。

02 幫手還是豬隊(duì)友？

接下來(lái)，我們讓文心一言展現(xiàn)了它的文學(xué)創(chuàng)作能力——寫(xiě)一首介紹它自己的詩(shī)。

顯然，文心一言沒(méi)有聽(tīng)懂這個(gè)指令，它沒(méi)有介紹它自己，而是以“自我”為主題，寫(xiě)了一首“夸夸現(xiàn)代詩(shī)”。結(jié)尾它還非常貼心的表達(dá)了對(duì)人的鼓勵(lì)。

當(dāng)我們將指令更加明確化，提出讓它寫(xiě)一首詩(shī)介紹文心一言時(shí)，它來(lái)了一首四言藏頭詩(shī)，算得上有才華。

接下來(lái)，我們?cè)嚵嗽囁纳虡I(yè)文案創(chuàng)造能力——我們讓它幫忙寫(xiě)一篇百度發(fā)布文心一言的新聞宣傳稿。別說(shuō)，它的表現(xiàn)還不錯(cuò)，時(shí)間、地點(diǎn)、事件等新聞稿必備的基本要素它都滿足了。

結(jié)尾，它還不忘提醒讀者參加發(fā)布會(huì)，體驗(yàn)產(chǎn)品。滿足新聞性的同時(shí)，也符合了宣傳定位。

隨后，我們告訴它我們要采訪李彥宏，請(qǐng)它幫忙列一份提綱。它似乎又有點(diǎn)“聰明過(guò)頭”了，不僅列出了采訪題目、采訪人和被采訪人、采訪引言，還詳細(xì)列出了包括問(wèn)題和答案內(nèi)的采訪正文。

簡(jiǎn)單點(diǎn)說(shuō)，文心一言不僅幫我們列好了采訪提綱，還幫李彥宏回答了問(wèn)題，甚至幫我們寫(xiě)好了稿子。如果要給這份采訪采訪提綱打分，它也能得到及格線以上的分?jǐn)?shù)。四個(gè)問(wèn)題中，只有第三個(gè)問(wèn)題略顯重復(fù)與矛盾。

03 也許數(shù)理化不錯(cuò)，但文史“夠嗆”

昨天的發(fā)布會(huì)上，李彥宏借助文心一言對(duì)“洛陽(yáng)紙貴”的含義、對(duì)應(yīng)的經(jīng)濟(jì)學(xué)理論的理解，展示了其中文理解能力。在提前錄好視頻中，文心一言表現(xiàn)的像極了一個(gè)博學(xué)多才的國(guó)學(xué)大師。

但當(dāng)實(shí)際測(cè)試時(shí)，我們發(fā)現(xiàn)文心一言沒(méi)有我們想象的那么“博學(xué)”。在提問(wèn)中故意挖坑時(shí)，它沒(méi)法識(shí)別出來(lái)，會(huì)很容易掉進(jìn)坑里。

比如，當(dāng)我們“張冠李戴”問(wèn)它曹操三顧茅廬的故事，它沒(méi)有指出指令的錯(cuò)誤，還一本正經(jīng)的給出了答案。故事的脈絡(luò)沒(méi)錯(cuò)，主人公卻被我們用錯(cuò)誤的指令誤導(dǎo)了。

當(dāng)我們繼續(xù)追問(wèn)：“三顧茅廬的曹操嗎？”文心一言變成了一個(gè)懂得變通的“野史學(xué)家”。它用“民間有另一個(gè)說(shuō)法”提供了正確答案，去三顧茅廬的是劉備不是曹操。

不過(guò)，講完這句后，它仍然套用了前一次的答案，認(rèn)為主人公是曹操?？傮w來(lái)說(shuō)，從這條回答中可以看出，文心一言的文史還需“補(bǔ)課”。

“你覺(jué)得你的回答對(duì)嗎？”在面對(duì)這個(gè)拷問(wèn)時(shí)，文心一言又聽(tīng)不懂了，開(kāi)始強(qiáng)調(diào)自己是一個(gè)人工智能語(yǔ)言模型，不會(huì)對(duì)自己的回答產(chǎn)生情緒上的偏向或者滿意度，但是會(huì)努力提供最準(zhǔn)確和有用的答案。

這個(gè)場(chǎng)景似曾相識(shí)有沒(méi)有，當(dāng)你和人工智能客服吵架時(shí)，它是不是也是這樣的表現(xiàn)？

04 多模態(tài)表現(xiàn)還有待進(jìn)化

在多模態(tài)生成方面，文心一言表現(xiàn)地仍不夠完美。

當(dāng)輸入內(nèi)容“設(shè)計(jì)一張新能源汽車(chē)的海報(bào)”時(shí)，文心一言的理解能力似乎還跟不上。它生成的不是海報(bào)圖片，而是一段文字版的設(shè)計(jì)意見(jiàn)。結(jié)尾還來(lái)了個(gè)示例，提醒你需要什么樣的指令。

不過(guò)，當(dāng)我們?cè)凇霸O(shè)計(jì)一張新能源汽車(chē)的海報(bào)”這句話前面明確加上：“畫(huà)一幅畫(huà)”時(shí)，文心一言“又行了”生成了一張汽車(chē)圖片。

另外，對(duì)于帶有關(guān)鍵詞的簡(jiǎn)單圖片，文心一言完成得也不錯(cuò)。

李彥宏昨天提到，因?yàn)槌杀据^高，文心一言的視頻生成能力，現(xiàn)階段還未對(duì)所有用戶開(kāi)放，未來(lái)會(huì)逐步接入。實(shí)際測(cè)試時(shí)，文心一言也承認(rèn)，自己“沒(méi)有生成視頻的能力”。

整體來(lái)說(shuō)，文心一言的表現(xiàn)確實(shí)“算不上完美”，有時(shí)候胡說(shuō)八道，有時(shí)候答案基本達(dá)標(biāo)，但它確實(shí)也沒(méi)有那么差。

一位AI領(lǐng)域的從業(yè)人士此前告訴全天候科技，AIGC太重要了，無(wú)論國(guó)內(nèi)做得如何，都得先有一個(gè)產(chǎn)品出來(lái)。

對(duì)于百度和文心一言，我們應(yīng)該給予包容：“文心一言不需要碾壓ChatGPT，如果滿分是100分，文心一言只要能做到超過(guò)及格線，就很不錯(cuò)了。畢竟這才是第一代產(chǎn)品?！?/p>

那么，你給文心一言打幾分呢？

關(guān)鍵詞：