長期以來，人工智能（AI）領(lǐng)域奉行“數(shù)據(jù)規(guī)模越大越好”的信念，但近期業(yè)界卻傳出大模型進(jìn)化遭遇“數(shù)據(jù)墻”的消息。
據(jù)報(bào)道，OpenAI、谷歌和Anthropic在開發(fā)新一代模型時(shí)遭遇瓶頸，無法實(shí)現(xiàn)此前那樣的突破性進(jìn)展。圖靈獎(jiǎng)得主楊立昆（Yann LeCun）和OpenAI前首席科學(xué)家伊利亞•蘇茨克維（Ilya Sutskever）等業(yè)界大佬直言，規(guī)模法則（Scaling Law）已觸及天花板。
美國技術(shù)研究公司Epoch AI預(yù)測，互聯(lián)網(wǎng)上可用的高質(zhì)量文本數(shù)據(jù)可能會在2028年耗盡。
對公開文本數(shù)據(jù)使用量的預(yù)測 圖片來源：Epoch AI
“數(shù)據(jù)墻”是否真實(shí)存在，未來的AI將走向何處？如果真有“數(shù)據(jù)墻”，大模型研發(fā)企業(yè)又該如何找尋新的出路？就此，《每日經(jīng)濟(jì)新聞》記者近日專訪了清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系長聘副教授崔鵬。
崔鵬表示，目前大模型還是以大規(guī)模數(shù)據(jù)驅(qū)動(dòng)為范式的，而數(shù)據(jù)總有用完的一天，肯定會碰上“數(shù)據(jù)墻”。在他看來，數(shù)據(jù)問題只是目前AI面臨的一小部分難題。更大的問題在于，目前的AI缺少泛化能力，使其缺乏安全可信性。
他認(rèn)為，未來3~5年將是打造安全、可信AI的黃金期，因?yàn)閱渭円揽恳?guī)模法則或者蠻力法（Brute Force，指用大量計(jì)算資源和窮舉所有可能的方式來解決問題），邊際收益已經(jīng)逐漸降低，必須尋找新的突破點(diǎn)。
而在談及AI助推行業(yè)升級的話題時(shí)，他表示，我國資源稟賦最為突出的領(lǐng)域其實(shí)是工業(yè)。AI與工業(yè)場景相結(jié)合，反而是我們很重要的一步“先手棋”。
崔鵬于2010年獲得清華大學(xué)博士學(xué)位，長期聚焦因果推斷與AI的融合研究，在國際上自主提出并發(fā)展了因果啟發(fā)的穩(wěn)定學(xué)習(xí)理論方法體系，在智慧醫(yī)療、工業(yè)制造及互聯(lián)網(wǎng)經(jīng)濟(jì)等領(lǐng)域?qū)崿F(xiàn)重要應(yīng)用。崔鵬已在AI及數(shù)據(jù)挖掘領(lǐng)域頂級國際期刊和會議上發(fā)表論文百余篇，并先后獲得7項(xiàng)國際會議及期刊最佳論文獎(jiǎng)，還（曾）擔(dān)任IEEE TKDE、IEEE TBD、ACM TIST、ACM TOMM等國際頂級期刊的編委。
崔鵬 圖片來源：受訪者供圖
“數(shù)據(jù)墻”確實(shí)存在，但AI最大的瓶頸是安全可信
NBD：您認(rèn)為目前AI發(fā)展是否達(dá)到了一個(gè)瓶頸？是否存在所謂的“墻”呢？
崔鵬：這一代AI的技術(shù)路徑，總體上仍遵循大規(guī)模數(shù)據(jù)驅(qū)動(dòng)的范式，依賴于算法、算力和數(shù)據(jù)這三要素。而目前，基本所有互聯(lián)網(wǎng)中的高質(zhì)量數(shù)據(jù)，都已經(jīng)投喂給了大模型。除此之外，大模型還吸收了大量的人工標(biāo)注數(shù)據(jù)。如果一直維持規(guī)模法則這樣的范式，到一定階段，AI肯定是會撞上“數(shù)據(jù)墻”的。
但如果從底層的學(xué)習(xí)機(jī)理和學(xué)習(xí)機(jī)制來看，當(dāng)前AI的泛化能力實(shí)際上是缺失的。也就是說，AI只能處理在訓(xùn)練階段已經(jīng)見過的類似案例，對于未見過類似的案例則難以應(yīng)對。
泛化能力的缺失導(dǎo)致了一個(gè)嚴(yán)重的問題：當(dāng)我們將AI應(yīng)用于開放場景時(shí)，模型往往會在未被充分訓(xùn)練過的場景下“胡說八道”。這構(gòu)成了AI面臨的最大技術(shù)瓶頸——在安全可信方面的能力缺失，也就是說，目前的AI既夠不安全也不夠可信。
NBD：那我們應(yīng)該如何解決AI的安全可信問題呢？
崔鵬：目前來看，有三個(gè)層面：探索新的學(xué)習(xí)機(jī)理，建立新的數(shù)據(jù)科學(xué)體系，還要能夠提出新的評估手段。做到三位一體，才能夠真正解決AI的安全和可信問題。
首先，傳統(tǒng)的機(jī)器學(xué)習(xí)基于“獨(dú)立同分布”的假設(shè)，認(rèn)為訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)是相似的。這種假設(shè)給予機(jī)器學(xué)習(xí)明確的優(yōu)化目標(biāo)，但在實(shí)際應(yīng)用中，這種假設(shè)可能會帶來一些問題，比如過擬合（模型過于依賴訓(xùn)練數(shù)據(jù)，無法應(yīng)對新情況）或擬合無關(guān)的信息。特別是在大規(guī)模數(shù)據(jù)中，變量之間可能存在虛假的關(guān)聯(lián)，從而影響到模型的準(zhǔn)確性。相比之下，因果統(tǒng)計(jì)會更加關(guān)注變量之間的因果關(guān)系（即明確哪些因素真正影響結(jié)果），能夠更好地應(yīng)對數(shù)據(jù)分布變化帶來的問題。
其次，我們需要轉(zhuǎn)變對數(shù)據(jù)的處理方式，發(fā)展新的數(shù)據(jù)科學(xué)體系，從被動(dòng)積累數(shù)據(jù)轉(zhuǎn)變?yōu)橹鲃?dòng)獲取有效數(shù)據(jù)，并使數(shù)據(jù)與智能形成互動(dòng)的反饋循環(huán)——數(shù)據(jù)產(chǎn)生智能，智能又能夠定向告訴我們應(yīng)該去產(chǎn)生或者收集什么樣的數(shù)據(jù)。
第三是建立新的評估體系，以準(zhǔn)確刻畫模型的能力邊界和風(fēng)險(xiǎn)。通過評估來明確模型風(fēng)險(xiǎn)可能存在的具體情境，在明確這些風(fēng)險(xiǎn)后，我們就應(yīng)當(dāng)避免在那些高風(fēng)險(xiǎn)情境下使用AI模型來完成任務(wù)。
當(dāng)AI遇上高風(fēng)險(xiǎn)行業(yè)，得分就算高達(dá)99.99也是不夠的
NBD：市面上不乏許多表現(xiàn)出色的模型，但為何在高風(fēng)險(xiǎn)行業(yè)，仍然鮮見AI的廣泛應(yīng)用呢？
崔鵬：現(xiàn)在關(guān)于AI有兩個(gè)論調(diào)，一種觀點(diǎn)認(rèn)為，AI的發(fā)展已經(jīng)達(dá)到一個(gè)前所未有的高度，諸如AGI（通用人工智能）和ASI（超級智能）等概念開始被廣泛討論。然而，另一種觀點(diǎn)認(rèn)為，現(xiàn)在的AI，其實(shí)并沒有在嚴(yán)肅行業(yè)里真正解決實(shí)際問題。
AI在實(shí)際應(yīng)用中的落地面臨諸多困難，因?yàn)锳I的泛化能力無法得到保證，那么其在開放場景下的安全性和可信性就無法得到保證。為什么我們敢用人去解決這些風(fēng)險(xiǎn)比較高的任務(wù)呢？就是因?yàn)橄噍^于現(xiàn)在的AI，人的可信性肯定要高很多。對于AI，市面上有各種各樣的評測和榜單，但其實(shí)這些都是對模型整體能力的刻畫，但它并不足以精確描繪出模型在具體應(yīng)用場景下的能力邊界。
那么，即便模型拿到99分、甚至是99.99分的高分，也可能不足以說明它在實(shí)際應(yīng)用中是安全可信的。因?yàn)槲覀儫o法確切知曉，其風(fēng)險(xiǎn)究竟會處于何種情況之下。因此，對于AI而言，確實(shí)需要建立一套新的評估體系，準(zhǔn)確評估和界定模型的能力邊界，這一點(diǎn)至關(guān)重要。