最近,市場討論焦點主要在AI分布式云算力聚合平臺上,但Messari一份報告卻把注意力聚焦到了AI去中心化推理方向。而且該報告提到了 @MarlinProtocol所推出的teeML去中心化推理架構,一種利用可信執行環境(TEE)來提供計算證明的方式。
為什么要做分布式推理架構?邏輯很簡單,ChatGPT等大模型Prompt推理都依賴一個可信的中心化的模型服務器實體,比如:OpenAI,用戶無法確保數據在推理過程中是否被惡意篡改或窺探。
而若采用分布式推理,用戶的每次調用大模型輸入和輸出,都能有可驗證的計算做保證,用戶無需信任中心化的服務提供上,而僅可依賴密碼學或者其他數據或安全模型來建立信任連接。
Marlin我之前有寫文章分析過,主要定位做去中心化的節點增強服務,去中心化AI服務是其發力的一個核心場景。Marlin通過TEE可信執行環境協處理器,在節點硬件存儲系統中構建了安全隔離的Enclave飛地環境,繼而可實現AI數據模型訓練和推理等服務。
在去中心化推理背景下,模型提供者可以選擇在TEE環境下運行模型,并生成加密證明,由于證明本身也在TEE內環境下,因此可確保模型在運行過程中不被透露或篡改。
當然,在Messari的報告中,還提到了除了TEE之外的另外兩種分布式推理架構方式:
1)基于zkML零知識證明協議,ZK可以證明某個輸出是特定的Dataset產生的,ZK可以成為支撐模型運行的服務器和模型輸出結果的可信橋梁。@ProjectZKM提供的zkVM可信驗證最近也和Marlin達成了戰略合作,會作為底層技術支持幫助Marlin基于zkVM進一步強化分布式推理能力;
2)基于Optimism ML樂觀機器學習,和OP-Rollup邏輯類似,多方實體可共同參與指定的推理驗證,若對結果存在分析,可以開啟挑戰模式,理論上,只有有一個誠實的驗證者實體,opML就稱得上安全可信。相比zkML,opML計算成本更低,但也會存在挑戰時間窗口。代表項目有Ora 和@HyperspaceAI.
總之,在我看來,當分布式AI聚合算力的應用場景被跑通,大量的中小型AI訓練、推理、微調以及渲染等需求涌入后,一個完全分布式的可驗證的推理計算證明就成了必須。分布式推理賽道也會隨之熱鬧起來。