OpenAI首席科學(xué)家宣布AI已有微弱自主意識的風(fēng)波,現(xiàn)在仍在擴大化。支持方的MIT學(xué)者在自己論文圖表上畫條線,稱當下AI的大計算量已達到產(chǎn)生自主意識的突破閾值,在消息出圈后不得不澄清:「我開玩笑的」。
OpenAI大佬聲稱AI已經(jīng)有自主意識的推特,讓全業(yè)界都炸了鍋,而引發(fā)的罵戰(zhàn)還在繼續(xù)擴大化。
當然,這種學(xué)界對罵,一般是口說無憑、拿出論文/數(shù)據(jù)效果立馬變樣,不亞于街頭罵戰(zhàn)時一方突然掏出手槍的效果。
MIT的訪問研究學(xué)者塔米·貝西羅格魯在布滿了機器學(xué)習(xí)模型的圖表上畫了「一條線」,界線以上即是模型「有微弱意識」的程度。
這張圖出自在他與別人合著的預(yù)印本論文「Compute Trends Across Three Eras of Machine Learning」里,其中記錄了自1950年代「機器學(xué)習(xí)」概念產(chǎn)生以來的業(yè)界幾乎所有重大的研究。
開個玩笑,別當真
這個推特一出,差點要引發(fā)不亞于之前的聲浪。
2月17日早上,貝西羅格魯不得不澄清:「大家淡定,之前我在圖上畫線那條推特是開玩笑的,線是假的,研究是真的。我倒是希望自己發(fā)現(xiàn)了AI獲取自主意識的秘訣,可惜天不假人?!?/p>
不過,這個情勢顯然已經(jīng)不再由他自己掌控了。
供職于IFP智庫與愛荷華州立大學(xué)的學(xué)者馬特·克蘭西回復(fù):「不好意思,你這里現(xiàn)在已經(jīng)出圈了,正式成為罵戰(zhàn)的陣線之一?!?/p>
盡管對有自主意識的電腦的恐懼可以追溯到1927電影《大都會》里的「機器人瑪麗婭」,但研究者常常會嘲笑這個概念。
因為這種事發(fā)生的可能性實在太過渺茫,而且在擔心終結(jié)者活過來之前,各種「人工智障」的普通AI已經(jīng)需要避免被不當使用了。
《大都會》劇照
薩茨克維爾與現(xiàn)任老板山姆·奧特曼(Sam Altman)、著名網(wǎng)紅馬斯克當年合創(chuàng)的OpenAI,現(xiàn)在是業(yè)界當之無愧的研發(fā)火車頭。其開發(fā)的GPT系列模型,是全球AI人都艷羨的著名先進模型。
數(shù)據(jù)報道網(wǎng)站「用數(shù)據(jù)呈現(xiàn)世界」(Our World in Data)有AI系統(tǒng)訓(xùn)練計算量的逐年與分領(lǐng)域趨勢圖。
在1952年的古代,計算次數(shù)每秒過萬已是尖端科技巔峰。而當下的大型尖端模型,每秒浮點計算次數(shù)動輒每秒1千萬億億次,為了跑這種大模型,Meta等大公司被逼到建造之前只有國家政府才舍得投資的超級計算機了。
因此當OpenAI的領(lǐng)軍人表示AI有自主意識時,已被當代AI進步眩目的公眾更加迷惑和反對,也在情理之中。
如果沒其他收獲的話,至少這次罵戰(zhàn)讓研究者們更加關(guān)注「何為自主意識」的定義了,或許對推動研究會有少許助益。
不過網(wǎng)友表示,這種罵戰(zhàn)已經(jīng)快成了定期的八卦項目?!该课迥昃蜁硪淮危看味际窍咕幑适潞湍:x參數(shù),大家已經(jīng)看乏了?!?/p>
機器學(xué)習(xí)的三個時代
十年后,計算機視覺會有多大的進步?機器會不會比我們寫小說寫得更好?哪些工作我們將能夠?qū)崿F(xiàn)自動化?
想要回答這些問題是十分困難的,然而,有一個因素卻貫穿始終,它在時間上的規(guī)律性令人吃驚——計算量。
為此,來自阿伯丁大學(xué)、圣安德魯斯大學(xué)、麻省理工學(xué)院、圖賓根大學(xué)和馬德里康普頓斯大學(xué)等機構(gòu)的研究人員對里程碑式的ML模型隨時間變化的計算量需求做了的詳細調(diào)查:
1. 一個由123個里程碑式的機器學(xué)習(xí)系統(tǒng)組成的數(shù)據(jù)集,并標注了訓(xùn)練這些系統(tǒng)所需的計算量。
2. 將計算量的趨勢歸納為三個不同的時代:前深度學(xué)習(xí)時代(Pre Deep Learning Era)、深度學(xué)習(xí)時代(Deep Learning Era)和大規(guī)模時代(Large-Scale Era)。
論文鏈接: https://arxiv.org/abs/2202.05924
簡而言之,在深度學(xué)習(xí)興起之前,機器學(xué)習(xí)模型的訓(xùn)練計算量有一個緩慢增長的時代。
2010年左右,這一趨勢加速發(fā)展,此后一直沒有放緩。
另外,在2015年到2016年,出現(xiàn)了大規(guī)模模型的新趨勢,增長速度確定,但增速超過了過去時代速度的兩個數(shù)量級。
1952年至2022年期間,n=118個里程碑式的ML模型的趨勢
主要結(jié)果
向深度學(xué)習(xí)的過渡
作者發(fā)現(xiàn),在深度學(xué)習(xí)出現(xiàn)之前和之后有兩個非常不同的趨勢機制。
在此之前,訓(xùn)練ML系統(tǒng)所需的計算量每17至29個月翻一番。隨后,整體趨勢加快,每4到9個月翻一番。
前深度學(xué)習(xí)時代的趨勢大致符合摩爾定律:晶體管密度大約每兩年翻一番,不過通常被簡化為計算性能每兩年翻一番。
深度學(xué)習(xí)時代通常被認為是在2012年隨著AlexNet的誕生而開始的,而作者認為,根據(jù)現(xiàn)有的證據(jù),2010年是最符合這個時代開始的時間。
不過在這個界定上,不管是選擇2010年還是2012年,都不會對整體的結(jié)果產(chǎn)生顯著影響。
1952年至2022年期間,n=118個里程碑式的ML系統(tǒng)的訓(xùn)練計算量的趨勢
1952年至2022年ML模型的對數(shù)線性回歸結(jié)果
大規(guī)模時代的趨勢
數(shù)據(jù)表明,在2015-2016年左右,出現(xiàn)了大規(guī)模模型的新趨勢。
這個新趨勢從2015年底的AlphaGo開始,一直持續(xù)到現(xiàn)在。這些大規(guī)模的模型是由大公司訓(xùn)練的,他們更高額的訓(xùn)練預(yù)算大概是打破之前趨勢的原因。
另外,常規(guī)規(guī)模模型的趨勢繼續(xù)不受干擾。這個趨勢在2016年之前和之后都是連續(xù)的,并且計算量有持續(xù)的發(fā)展速度,每5到6個月翻一番
大規(guī)模模型的計算量增加的趨勢顯然比較緩慢,每9到10個月翻一番。
不過,由于關(guān)于大規(guī)模模型的數(shù)據(jù)有限,作者推測,明顯的放緩可能是噪聲的結(jié)果
2010年至2022年期間,n=99個里程碑式ML系統(tǒng)的訓(xùn)練計算量的趨勢
2010年至2022年之間數(shù)據(jù)的對數(shù)線性回歸結(jié)果
不同領(lǐng)域的趨勢
不同領(lǐng)域的機器學(xué)習(xí)模型依賴于不同的架構(gòu),因此可以自然地預(yù)期它們會受到不同的擴展規(guī)律的影響。
由此,作者調(diào)查了視覺、語言、游戲和其他12個領(lǐng)域的機器學(xué)習(xí)模型訓(xùn)練計算量增加趨勢。
視覺和語言領(lǐng)域的趨勢隨著時間的推移似乎相當一致,并按照與整個數(shù)據(jù)集相同的倍增模式增長。
然而,在游戲領(lǐng)域中卻無法找到一致的趨勢。作者猜測,可能的原因是數(shù)據(jù)太少,而不同的游戲本質(zhì)上是屬于不同領(lǐng)域的,此外,也可能是因為沒有像其他領(lǐng)域那樣得到系統(tǒng)性的推動。
2010年至2022年期間每個領(lǐng)域訓(xùn)練計算量的趨勢
每個領(lǐng)域從2009年到2022年的趨勢
總結(jié)
在本文中,作者通過策劃100多個里程碑式的ML系統(tǒng)的訓(xùn)練計算量數(shù)據(jù)集來研究計算量的趨勢,并使用這些數(shù)據(jù)來分析這一趨勢是如何隨時間增長的。
在前深度學(xué)習(xí)時代(1952年到2010年),計算量增長緩慢。
2010年左右,隨著過渡到深度學(xué)習(xí)時代,這一趨勢加快了。
2015年底,大公司開始發(fā)布跨時代的大規(guī)模模型,如AlphaGo,標志著大規(guī)模時代的開始。
用這三個時代來框定趨勢,有助于解釋在數(shù)據(jù)中觀察到的不連續(xù)現(xiàn)象,并讓人更好地理解更好地理解最近的ML進展是由規(guī)模的增加所推動的,從而改善對先進ML系統(tǒng)發(fā)展的預(yù)測。
不過,有些遺憾的是本文并沒有詳細剖析用于訓(xùn)練機器學(xué)習(xí)模型的另一個關(guān)鍵可量化資源——數(shù)據(jù)集。
作者表示會將在未來的工作中研究數(shù)據(jù)集大小的趨勢以及它們與計算趨勢的關(guān)系。
而本想借機宣傳一下論文的貝西羅格魯,恐怕學(xué)到的要比其他合著者們更多:「貝西羅格魯法則:不管研究者的推特笑話有多明顯,只要你夠資深,總有傳媒會當真」。
參考資料:
https://wordpress.futurism.com/mit-researcher-conscious-ai/amp
https://arxiv.org/abs/2202.05924
https://twitter.com/tamaybes/status/1493682157914578944
本文來自微信公眾號“新智元”(ID:AI_era),作者:新智元,36氪經(jīng)授權(quán)發(fā)布。
關(guān)鍵詞:
- 千千惠生活全國上線“隨心退”功能,消費者可無條件隨時退款
- 杭州臨平區(qū):創(chuàng)建市場疫情防控“三色”預(yù)警分類管理機制 動態(tài)防控監(jiān)測預(yù)警
- 海南開展防止一次性不可降解塑料制品入島聯(lián)合執(zhí)法行動 對當事人立案調(diào)查
- 河北保定市場監(jiān)管局創(chuàng)新應(yīng)用信用分級分類監(jiān)管 提升監(jiān)管效能助力營商環(huán)境優(yōu)化
- 原料新鮮 用料扎實 冰雪時光穩(wěn)扎茶飲下沉市場
- 陜西省市場監(jiān)管局連續(xù)三年榮獲平安陜西建設(shè)先進集體 充分發(fā)揮市場監(jiān)管職能優(yōu)勢
- 浙江杭州:西湖食品安全風(fēng)險綜合治理中心掛牌成立 健全機制規(guī)范運行為
- 湖北恩施州鶴峰縣市場監(jiān)管局開展進口水果排查專項行動 加強宣傳引導(dǎo)
- 寧夏青銅峽市場監(jiān)管局:擰緊節(jié)日食藥“安全閥” 確保節(jié)日期間市場安全穩(wěn)定
- 北京東城對轄區(qū)旅游客運企業(yè)開展專項聯(lián)合檢 營造和諧市場環(huán)境
- 安徽開展專項執(zhí)法查處濫用行政權(quán)力行為 共同營造公平競爭良好社會環(huán)境
- 安徽啟動2022年春茶地理標志保護專項行動 促進茶產(chǎn)業(yè)高質(zhì)量發(fā)展
- 吉林:開展知識產(chǎn)權(quán)代理行業(yè)“藍天”專項整治行動 促進知識產(chǎn)權(quán)服務(wù)業(yè)健康發(fā)展
- 福建福州:宣傳知識產(chǎn)權(quán)法律知識 全方位推進地方高質(zhì)量發(fā)展超越
- 遼寧撫順積極建設(shè)知識產(chǎn)權(quán)強市 建設(shè)知識產(chǎn)權(quán)強市為目標
- 2021年全國公共服務(wù)質(zhì)量監(jiān)測情況發(fā)布 南京以總體滿意度?排名第一
- 立案20件!安徽嚴查哄抬物價等價格違法行為 督促經(jīng)營者守法經(jīng)營
- 陜西消保委發(fā)出“五一”消費提示 按需購買防浪費理性消費樹新風(fēng)
- 養(yǎng)元飲品一季度凈利潤下降 今年上市公司買理財規(guī)模降至近五年最低
- 失守3000點!滬指重挫逾5%創(chuàng)兩年來最大單日跌幅 兩市跌停股票超700只

- 杭州臨平區(qū):創(chuàng)建市場疫情防控“三色”預(yù)警分類管理
- 海南開展防止一次性不可降解塑料制品入島聯(lián)合執(zhí)法行
- 河北保定市場監(jiān)管局創(chuàng)新應(yīng)用信用分級分類監(jiān)管 提
- 陜西省市場監(jiān)管局連續(xù)三年榮獲平安陜西建設(shè)先進集體
- 浙江杭州:西湖食品安全風(fēng)險綜合治理中心掛牌成立
- 湖北恩施州鶴峰縣市場監(jiān)管局開展進口水果排查專項行
- 寧夏青銅峽市場監(jiān)管局:擰緊節(jié)日食藥“安全閥” 確
- 北京東城對轄區(qū)旅游客運企業(yè)開展專項聯(lián)合檢 營造和
- 安徽開展專項執(zhí)法查處濫用行政權(quán)力行為 共同營造公
- 安徽啟動2022年春茶地理標志保護專項行動 促進茶產(chǎn)
- 1 千千惠生活全國上線“隨心退”功能,消費者可無條件
- 2 杭州臨平區(qū):創(chuàng)建市場疫情防控“三色”預(yù)警分類管理
- 3 海南開展防止一次性不可降解塑料制品入島聯(lián)合執(zhí)法行
- 4 河北保定市場監(jiān)管局創(chuàng)新應(yīng)用信用分級分類監(jiān)管 提
- 5 原料新鮮 用料扎實 冰雪時光穩(wěn)扎茶飲下沉市場
- 6 陜西省市場監(jiān)管局連續(xù)三年榮獲平安陜西建設(shè)先進集體
- 7 浙江杭州:西湖食品安全風(fēng)險綜合治理中心掛牌成立
- 8 湖北恩施州鶴峰縣市場監(jiān)管局開展進口水果排查專項行
- 9 寧夏青銅峽市場監(jiān)管局:擰緊節(jié)日食藥“安全閥” 確
- 10 北京東城對轄區(qū)旅游客運企業(yè)開展專項聯(lián)合檢 營造和