從預訓練轉向推理，人工智能領域正在經歷的一個關鍵轉變，而這將顛覆AI投資邏輯。

近日， 在知名商業博客節目Invest Like The Best中，Patrick O'Shaughnessy對談了Benchmark普通合伙人Chetan Puttagunta和基金經理Modest Proposal，就人工智能模型當前面臨的擴展挑戰、開源模型的驚人普及以及對一級和二級市場的投資影響等話題展開討論。

由于人類文本數據的耗盡，大模型訓練轉向使用由LLMs生成的合成數據，但這未能使預訓練繼續擴展，導致AI大模型正在轉向一個新的范式——從預訓練（pre-training）轉向測試時計算（test-time compute）。

Chetan介紹道，測試時計算實際上是讓大型語言模型審視問題，想出一系列可能的解決方案，并行推進多種解決方案，同時有一個叫做驗證器的東西，反復地對解決方案進行迭代處理。

從預訓練轉向推理，對AI究竟意味著什么？這在過去六到八周里，已經改變了風投的投資邏輯。

從預訓練轉向推理，究竟意味著什么？

Chetan 強調了測試時推理范式的兩個關鍵挑戰：首先，用于測試時計算的算法可能很快就會耗盡解決方案的有用搜索空間；其次，驗證器在區分好的和壞的解決方案以及尋找最優路徑方面的能力，并不確定是否能隨著計算力的無限擴展而線性增長。此外，任務本身的復雜性和模糊性意味著限制因素可能不僅僅是計算力。

盡管存在這些挑戰，Chetan 對通過算法、數據、硬件和優化改進來解決這些問題持樂觀態度。

Modest從微觀層面分析了從預訓練轉向推理時間的幾個重大影響。其一，它能使收入生成與支出更好地協調一致：

我認為這對于整個行業來說是一個非常非常有益的結果，因為在預訓練領域，情況并非如此。將投入 200 億、300 億、400 億美元用于資本支出，在 9 到 12 個月內訓練模型，進行訓練后的工作，然后將其推出，然后希望通過推理從中獲得收入。在測試時間計算擴展的世界里，你現在正在使你的支出與模型的底層使用情況相匹配。因此，就純粹的效率和財務方面的可擴展性而言，對于超大規模企業來說，這要好得多。

Modest認為第二個重大影響在于，但如果確實看到了向推理時間的轉變，在網絡架構、芯片集群布局等方面，以及支撐投資世界很大一部分的諸多敘述，都需要進行重新思考：

需要開始思考如何重新設計網絡架構？是否需要在能源低成本的陸地上建立數百萬個芯片超級集群，還是需要在全國范圍內分散布局更小、更低延遲、更高效的推理時間數據中心？而且當你重新設計網絡架構時，對電力利用率和電網設計的影響是什么？

我想說，支撐投資世界很大一部分的諸多敘述，我認為都得重新思考。而且我要說，由于這是一種相對較新的現象，如今公眾市場尚未開始著手應對這種潛在的新架構是什么樣子，以及它可能會如何影響一些潛在的支出。

過去的六到八周里，小模型改變風投思維

Chetan和Modest都不確定預訓練是否會回歸，但當前的瓶頸意味著小型團隊有機會在特定領域展現創新。

Chetan觀察到，在過去的六到八周里，不斷有小型團隊（2-5人）涌出，他們正在以相對較少的資金開發新模型，并在性能上與前沿模型競爭，這是過去兩年中未曾見到的現象。

Chetan指出，開源模型，特別是Meta的LLaMA系列，使得小型團隊能夠快速追趕技術前沿，無需巨額投資。小型團隊能夠通過下載、部署和優化開源模型，以較低成本迅速達到技術前沿。由于不需要大量的計算資源或數據，小型團隊可以在特定領域快速展現創新能力，迅速達到技術前沿。一旦小型團隊達到技術前沿，他們可以與大型服務提供商（如AWS）建立合作關系。

在這一趨勢下，GPU的限制也減少了。與2022年相比，對于處于技術前沿的團隊來說，GPU資源的限制已不再那么嚴重，尤其是在測試時推理和計算方面。

這也帶來了風險投資的轉變，從一度回避資本密集型的大型模型訓練而專注于應用投資，轉向開始關注更靈活、資本效率更高的小型模型團隊創新。Chetan表示：

風險投資模式一直是能否組建一支非凡的團隊，實現技術突破，做到資本輕型化，迅速超越現有企業，然后以某種方式獲得分銷立足點并推進。在過去兩年的模式層面，這似乎絕無可能實現。但在過去的六、八周里，這種情況確實發生了改變。

以下是部分對談要點和精華：

• 在測試時間或推理范例中，有兩件事很快就會凸顯出來。第一，大型語言模型（LLMs）會非常迅速地探索潛在解決方案的空間，用于測試時間計算的算法可能會很快耗盡有用的解決方案搜索空間。第二點，存在一種被稱為驗證器的東西，它正在審視哪些可能是好的解決方案，哪些可能是壞的解決方案，應該追求什么。

• 在微觀層面上，從預訓練轉向推理時間有幾個重大影響。其一，它能使收入生成與支出更好地協調一致。在測試時間計算擴展的世界里，你現在正在使你的支出與模型的底層使用情況相匹配。因此，就純粹的效率和財務方面的可擴展性而言，對于超大規模企業來說，這要好得多。

• 第二個重大影響在于，向推理時間的轉變需要開始思考如何重新設計網絡架構？是否需要在能源低成本的陸地上建立數百萬個芯片超級集群，還是需要在全國范圍內分散布局更小、更低延遲、更高效的推理時間數據中心？而且當重新設計網絡架構時，對電力利用率和電網設計的影響是什么？
• 在當下這個大模型平臺期，小團隊開始趕上前沿模型。只有兩到五個人的團隊，能夠以遠低于大型實驗室投入的資金，追趕前沿。部分原因在于開源模型的數量驚人地激增。具體來說，Meta 在 LLaMA 方面的所作所為在這里產生了巨大的影響。
• 你不需要大量的計算資源，或者你不需要大量的數據，你就能夠在特定的垂直領域、特定的技術或者特定的用例方面展現出特別的聰明才智和創新能力，從而非常迅速地躍升至前沿。我認為這在很大程度上改變了我個人對模型層以及模型層潛在早期投資的看法。
• 對于處于技術前沿的團隊來說，他們不再特別受限于GPU資源，尤其是在追求測試時推理或計算的情況下。與2022年相比，計算方面的挑戰已不再那么嚴峻，特別是對于服務少量企業客戶或針對特定用例優化的消費者解決方案的團隊。
• 到 2025 年，我們將非常接近或達到通用人工智能的水平。鑒于當前的進展和創新，再加上現在轉向測試時的計算和推理，從這個角度來看，通用人工智能即將到來。
• 如果 OpenAI 選擇宣稱已實現通用人工智能，我認為這將在他們和微軟之間引發一種非常有趣的動態，這將加劇當前已經在發揮作用的、本就非常有趣的動態。所以，這在明年肯定是值得關注的，不僅對公開市場的投資者而言是如此，對更廣泛的生態系統的影響也是如此。
• 六、九個月前大家都非常擔憂的增量資本。但從第三季度的數據中得出的看法是，這里有應用場景。推理正在進行。技術正在發揮其應有的作用，推理的成本在驟降，利用率在飆升。把這兩者結合起來，你會得到一個不斷增長的可觀收入，一切都很好。
• 在私人市場中，正在發生的事情之一就是計算價格的急劇下降，無論是推理還是訓練，或者其他什么，因為它變得越來越容易獲得。如果你今天坐在這里，作為一名應用程序開發人員，與兩年前相比，這些模型的推理成本下降了 100 倍、200 倍。坦率地說，這太離譜了。從未見過成本曲線看起來如此陡峭、如此之快。

以下為對談全文：

Patrick

今天我的嘉賓是Chetan Puttagunta和Modest Proposal。如果你像我一樣癡迷于人工智能前沿以及商業和投資影響，那你一定會喜歡這場對話。Chetan是基準資本Benchmark的普通合伙人兼投資者，而Modest Proposal是一位匿名投資者，他在公開市場管理著一大筆資金。兩人都是我的好朋友，也是這個節目的常客，但這是他們第一次一起出鏡。

時機再好不過了。隨著頂尖實驗室達到規模極限，并從預訓練轉向測試時的計算，我們可能正在見證人工智能發展的一個關鍵轉變。我們一起探討這一變化如何能夠使人工智能開發民主化，同時重塑公共和私人市場的投資格局。請享受與我的朋友Chetan Puttagunta和Modest Proposal的精彩討論。

LLMs的現狀及其規模

Patrick

那么，Chetan，或許你可以先從你的角度跟我們講講，在關于大型語言模型及其擴展的故事中，在技術方面當下最有趣的部分是什么。

Chetan

是的，我認為我們現在處于這樣一個階段，即人們普遍認同或知曉，在過去的兩年里，所有實驗室在如何看待規模擴展方面都遇到了某種趨于平穩的效果，這特別是在預訓練領域。據規模擴展的規律，在預訓練中，計算能力增加得越多，得到的模型就越好。一切都以數量級來考慮。所以，在這個問題上增加 10 倍的計算能力，模型性能和智能就會有一個階躍函數式的提升。

這無疑在這里帶來了令人難以置信的突破，我們從所有實驗室看到的都是非常出色的模型。但這一切的陰影甚至從2022年底開始，在某個時候，我們將耗盡由人類生成的文本數據。

而且我們很快就要進入合成數據的世界了。世界上所有的知識實際上都已被標記化，并被這些模型所吸收。當然，存在小眾數據、私人數據以及所有這些尚未被標記化的小型存儲庫，但就數量級而言，這不會對這些模型的可用數據量產生特別顯著的增加。

在 2022 年展望未來時，你們看到了合成數據是否能讓這些模型繼續擴展這個重大問題。

正如你們看到的那條線，大家都認為這個問題會在 2024 年真正凸顯出來。而現在我們就在這里，我們身處當下，大型模型供應商都在努力用合成數據進行訓練。而現在，正如媒體所報道的，以及所有這些人工智能實驗室的領導者都公開表示，由于合成數據，我們現在遇到了限制。

由大型語言模型自身生成的合成數據無法使預訓練中的規模擴展得以持續。因此，我們現在轉向一種被稱為測試時計算的新范例。從非常基本的層面來說，測試時計算就是你實際上讓大型語言模型審視這個問題，想出一系列可能的解決方案，并并行推進多種解決方案。你創建了這個叫做驗證器的東西，反復地對解決方案進行迭代處理，而這種新的擴展范例，可以說，在 X 軸上以對數刻度測量的時間，以及在 Y 軸上的智能。

這就是我們如今的處境，似乎幾乎所有人都在邁向這樣一個世界：在這個世界里，我們從基于預訓練和訓練的擴展，發展到基于如今被稱為推理的擴展，或者說推理時間、測試時間，無論你怎么稱呼它。這就是截至 2024年第四季度我們的現狀。

Patrick

這是一個關于整體情況的后續問題。那么，先把資本支出以及我們稍后與大型公共科技公司討論的所有其他問題放在一邊，基于你現在所了解的情況，能否說，轉向以時間為變量的測試時縮放，就像“誰在乎呢？”只要這些東西變得越來越強大，這不就是最重要的嗎？而且我們是以一種不同于僅僅基于預訓練的方式來做這件事的，這一事實又如何呢？真的有人在乎嗎？這重要嗎？

Chetan

在測試時間或推理范例中，有兩件事很快就會凸顯出來，那就是大型語言模型（LLMs）會非常迅速地探索潛在解決方案的空間。作為模型開發者或從事模型工作的人員，很快就會意識到，用于測試時間計算的算法可能會很快耗盡有用的解決方案搜索空間。這是第一點。

第二點，存在一種被稱為驗證器的東西，它正在審視哪些可能是好的解決方案，哪些可能是壞的解決方案，應該追求什么，以及能夠辨別出哪些是好的解決方案，哪些是壞的解決方案，或者哪些是最佳路徑，哪些不是最佳路徑。目前尚不清楚這是否會隨著計算能力的無限增強而呈線性擴展。最后，任務本身可能是復雜的、不明確的，而限制因素可能是計算能力，也可能不是。

所以，思考這些問題總是非常有趣的，就好像你有無限的計算能力來解決這個問題，你能否做得更快？當然，在推理方面，肯定會有一些問題，如果你只是擴大計算規模就能做得更快。但很多時候，我們開始看到證據表明，在我們當今擁有的技術中，這不一定是能隨計算呈線性擴展的東西。

現在我們能夠解決所有這些問題嗎？當然，會有算法的改進，會有數據的改進，會有硬件的改進，這里會有各種各樣的優化改進。我們仍在發現的是，用于推理的基礎模型所擁有的固有知識或可用數據仍然有限。僅僅因為你在追求測試時間，并不意味著你就能通過在測試時間擴大計算規模來突破之前所有的數據限制。

所以，這并不是說我們在推理方面遇到了障礙，也不是說我們在測試時間遇到了障礙。這只是問題集、挑戰以及計算機科學問題開始演變。作為一名風險投資家，我非常樂觀，相信我們能夠解決所有這些問題。但它們是可以解決的。

宏觀視角

Patrick

那么，如果這就是研究實驗室的觀點，Modest，我很好奇你能給我們講講大型公共科技公司的悲觀看法，因為在這個話題上，很多內容都是關于支出資本、戰略定位、所謂的所有這些支出的投資回報率，以及他們將如何在這一巨額資本支出中獲取回報。你認為Chetan剛剛所說的一切都能很好地反映在公共科技公司的立場、定價和估值中嗎？

Modest

我認為你必須從宏觀層面開始，然后再深入到微觀層面。為什么這很重要呢？因為大家都知道，如今在標準普爾 500 指數中，大型科技公司所占比例更大。但除此之外，我認為從主題上講，人工智能已經更廣泛地滲透到工業、公用事業領域，而且我認為，作為對這一領域的直接投資，其市值占比在 40%到 45%之間。

而且，如果你甚至將其擴展到世界其他地區，你就會把阿斯麥（ASML）、臺積電（TSMC）以及整個日本芯片行業都牽扯進來。

所以，如果你看看累計市值，這是當下對人工智能的直接投資，規模巨大。所以我認為，當你審視整個投資格局時，你幾乎被迫對此形成看法，因為幾乎所有人都會在某種形式上與一個指數進行對比，而該指數在微觀層面上將是人工智能的衍生投資。我認為這是一個令人著迷的時代，因為所有的公開市場投資都是對不同路徑進行情景分析和概率加權。如果你回想一下大概四個月前我們談論的時候，我想說，結果的分布已經發生了變化。

當時，在那個時間點，在那個層面上進行預訓練和擴大規模絕對是可行之道。當時我們就討論了其影響。我們談論過帕斯卡的賭注，也談論過囚徒困境。在我看來，當投入成本是 10 億美元或 50 億美元時，談論這些是容易的。但我們很快就要接近這樣一個時間點，屆時賭注將達到 200 億美元或 500 億美元。你可以看看這些公司的現金流量表。很難悄悄加入300億美元的交易額度。

因此，GPT-5 的成功總體上崩潰了。讓我們將其應用于所有不同的實驗室。我認為這原本會是關于投入資金量的一個重大證明點，因為這些都是三到四年的投入承諾。如果你回到寫這篇文章的時候，當時是在談論 Stargate，即假設的由 OpenAI 和微軟討論的 1000 億美元數據中心，那是在 2028 年的交付承諾。

但在接下來的六到九個月中的某個時候，要么行，要么不行。我們已經知道，30 萬到 40萬個芯片的超級集群將在明年年底到 2026 年初交付。但我們可能需要看到下一款機型取得一些成功的證據，才能獲得下一輪的承諾。所以，我認為所有這些都是背景。在微觀層面上，如果我們從預訓練轉向推理時間，這將是一個非常有力的轉變，并且有幾個重大影響。

其一，它能使收入生成與支出更好地協調一致。我認為這對于整個行業來說是一個非常非常有益的結果，因為在預訓練領域，情況并非如此。

將投入 200 億、300 億、400 億美元用于資本支出，在 9 到 12 個月內訓練模型，進行訓練后的工作，然后將其推出，然后希望通過推理從中獲得收入。在測試時間計算擴展的世界里，你現在正在使你的支出與模型的底層使用情況相匹配。因此，就純粹的效率和財務方面的可擴展性而言，對于超大規模企業來說，這要好得多。

我認為第二個重大影響在于，同樣，我們必須說，我們不知道預訓練的規模化是否會停止。但如果你確實看到了這種向推理時間的轉變，我認為你需要開始思考如何重新設計網絡架構？你是否需要在能源低成本的陸地上建立數百萬個芯片超級集群，還是需要在全國范圍內分散布局更小、更低延遲、更高效的推理時間數據中心？而且當你重新設計網絡架構時，對電力利用率和電網設計的影響是什么？

我想說，支撐投資世界很大一部分的諸多敘述，我認為都得重新思考。而且我要說，由于這是一種相對較新的現象，如今公眾市場尚未開始著手應對這種潛在的新架構是什么樣子，以及它可能會如何影響一些潛在的支出。