AI大模型的熱潮不斷，預計未來十年，AGI時代即將到來。但目前支撐AI發展的GPU和AI專用芯片，都存在各種各樣的問題。 那么，在分析這些問題的基礎上，我們能不能針對這些問題進行優化，重新定義一款能夠支持未來十年AGI大模型的、足夠靈活通用的、效率極高性能數量級提升的、單位算力成本非常低廉的、新的AI處理器類型？
01.首先分析場景特點，做好軟硬件劃分
1.1 一方面，AI處理器存在問題
差不多是從2015年前后，開始興起了專用AI芯片的浪潮。以谷歌TPU為典型代表的各種架構的AI專用芯片，如雨后春筍般涌現。 但從AI落地情況來看，效果并不是很理想。這里的主要問題在于：
AI芯片專用設計，把許多業務邏輯沉到硬件里，跟業務緊密耦合；但業務變化太快，算法不斷更新，芯片和業務的匹配度很低。
AI算法是專用的，面向具體場景，比如人臉識別、車牌識別，各種物品識別等。綜合來看，算法有上千種，加上算法自身仍在快速演進，加上各種變種的算法甚至超過數萬種。
用戶的業務場景是綜合性的，把業務場景比做一桌宴席，AI芯片就是主打的那道主菜。對AI芯片公司來說，自己只擅長做這一道菜，并不擅長做其他的菜品，更不擅長幫助用戶搭配一桌美味可口、葷素均衡、營養均衡的宴席。
1.2 另一方面，GPU也存在問題
NVIDIA的GPU是通用并行處理器：
性能效率相對不高，性能逐漸見頂。要想算力提升，只能通過提升集群規模（Scale Out，增加GPU數量）的方式。
增加集群規模，受限于I/O的帶寬和延遲。一方面，集群的網絡連接數量為O(n^2)，連接數量隨著集群規模的指數級增加；另一方面，AI類的計算任務，不同節點間的數據交互本身就非常巨大。因此，受阿姆達爾定律影響，I/O的帶寬和延遲，會約束集群規模的大小。（在保證集群交互效率的情況下，）目前能支持的集群規模大約在1500臺左右。
還有另外一個強約束，就是成本。據稱GPT5需要5萬張GPU卡，單卡的成本在5W美金左右，再加上其他硬件和基礎設施已經運營的成本。僅硬件開銷接近50億美金，即350億RMB。這對很多廠家來說，是天文數字。
1.3 問題的核心：芯片的靈活性要匹配場景的靈活性
首先，仍然是從我們之前很多文章中提到的這個“從軟件到硬件的典型處理器劃分圖”開始分析。
指令是處理器軟件和硬件的媒介：有的指令非常簡單，就是基本的加減乘除等標量計算；有的指令非常復雜，不是純粹的向量、矩陣或多維張量計算，而是各種維度計算再組合的一個混合的宏指令，或者說是一個算子甚至算法，就對應到一條（單位計算）指令。 AI專用處理器是一種DSA，是在ASIC基礎上具有一定的可編程能力。性能效率足夠好，但不夠靈活，不太適合業務邏輯和算法快速變化的AI場景。而GPU足夠靈活，但性能效率不夠，并且性能逐漸達到上限。 從目前大模型宏觀發展趨勢來看：
Transformer會是核心算法，在大模型上已經顯露威力。未來模型的底層算法/算子會逐漸統一于Transformer或某個類Transformer的算法。從此趨勢分析可得：AI場景的業務邏輯和算法在逐漸收斂，其靈活性在逐漸降低。
此外，AI計算框架也走過了百家爭鳴的階段，目前可以看到的趨勢是，PyTorch占據了絕大部分份額。這說明整個生態也在逐漸收斂，整個系統的迭代也在放慢。
這兩個趨勢都說明了，未來，“專用”的AI芯片會逐漸地綻放光芒。當然了，作為AI芯片的公司，不能等，而是需要相向而行：
需要定義一款，其性能/靈活性特征介于GPU和目前傳統AI-DSA處理器之間的，新型的通用AI處理器。“比GPU更高效，比AI芯片更通用”。
通用性體現在兩個方面：
一方面，處理器的通用性。能夠適配更多的算法差異性和算法迭代，覆蓋更多場景和更長的生命周期。
另一方面，面向AGI通用人工智能。不再是專用AI的“場景千千萬，處理器千千萬”，架構和生態完全碎片；而是一個通用的強人工智能算法，一個通用的強處理器平臺，去強智能化的適配各種場景。
02.大核少核 or 小核眾核？
CPU是大核，但通常一個芯片里只有不到100個物理核心；而GPU是小核眾核的實現，目前通常在上萬個核左右；而傳統AI芯片，通常是大的定制核+相對少量核（100核以內）的并行。
此外，一個很重要的現象是，GPU核，不再是之前只有CUDA核的標量處理器，而是增加了很多Tensor核的類協處理器的部分。新的GPU處理器不再在處理器核的數量上增加，反而把寶貴的晶體管資源用在單個核的協處理器上，把單核的能力做更多的強化。 因此，新型通用AI芯片需要：
在目前工藝情況下，并行的單芯片處理器核心（GA，通用AI處理器核心）數量在500-1000之間比較合適；
單個GA采用通用高效能CPU核（例如定制的RISC-v CPU）+強大的Tensor協處理器的方式。
03.極致擴展性，多層次強化內聯交互