盡管AI還未完全成熟,但其推動力已經開始顯現,存儲需求回升明顯。”劉嘉說。24T、30T的容量增長已成為共識,接下來則是對性能的更高要求。
固態硬盤性能更高,機械硬盤高容量和低成本,也成為新一輪AI浪潮的一種選擇。2024財年希捷發貨量顯著增長,特別是企業級需求占比達到80%左右,推動了單盤容量的提升,尤其是20TB以上的大容量硬盤需求,實現性能與成本的平衡已經成為企業下一階段重點考慮的方向。
![機械硬盤與AI并進,大容量存儲的未來](http://www.dfulqf.cn/uploads/image/2024/0919/1JF12M80.jpg)
希捷中國區產品部總監劉嘉
生成式AI下的存儲選擇
生成式AI席卷而來,不同于最直觀的算力,存儲能做點什么?希捷從中看到了三個影響存儲的趨勢。
第一,數據生產加速:IDC報告數據顯示,2023年中國大數據市場規模達179.3億元人民幣,相比2022年增長24.6%。希捷認為到2028年數據生產都會處在加速的狀態,一個原因是生產數據的內容越來越豐富,文字、視頻、文生內容,另一個原因是更多的數據需要留存,預計到2028年,生成式AI將產生約100ZB的數據。
第二,AI對存儲的影響:數據生產與數據存儲是兩個過程,相比之前數據生成速度提升,存儲需求存在一定的滯后性。過去一年多企業的AI投資主要集中在算力、模型層面,接下來,隨著數據的增長,存儲需求也將顯著提升。
第三,存儲介質的選擇:隨著AI帶動GPU和內存價格上漲,固態硬盤和機械硬盤的單TB價格比正在增大。過去一年中,固態硬盤價格增速快于機械硬盤。除了AI訓練需要的固態硬盤,很多客戶還會選擇在性價比和總擁有成本(TCO)上更具優勢的機械硬盤。
隨著生成式AI的快速崛起,存儲的角色變得愈發關鍵。希捷希望把握數據生產加速、AI對存儲需求的滯后性、存儲介質選擇三大趨勢,提供相應的解決方案。
在大模型的訓練過程中,存儲會參與到多個環節中。劉嘉認為,機械硬盤也可以在這些環節提供相應的支撐。
模型文件:在訓練開始時,模型文件會直接存儲在GPU集群中,文件大小從幾百MB到幾個TB不等。
checkpoint(檢查點):訓練過程中會產生臨時保存的數據(checkpoint),最初很多企業使用性能較高的固態硬盤存儲這些數據,同時成本也較高。現在企業發現可以將不常讀取的checkpoint數據轉移到機械硬盤降低成本。
模型版本:當模型訓練多個版本時,會有不同版本的模型數據保存,由于存儲對性能要求較低,部分企業選擇使用機械硬盤。
生成數據:通過文生圖片、視頻等生成的數據大概率會存儲在機械硬盤上,特別是在模型穩定后,生成數據更加豐富且留存時間更長,進一步優化存儲成本可以使用機械硬盤。
存儲進入大容量時代
希捷一直是機械硬盤巨頭,從2024年財報顯示,希捷實現 65.51 億美元營收,其中毛利率為23.4%,較上一年度的18.3%有了明顯的提升,回歸盈利通道。
機械硬盤還會是希捷未來的主陣地,劉嘉認為,企業90%的數據存儲在企業級硬盤和云端,服務好這部分市場非常關鍵。
同時,希捷的另一個重點是持續提升容量、降低功耗,提高每TB的性能,以滿足生成式AI的需求。希捷還在積極評估與AI相關的新機會,旨以適應日益增長的AI應用和負載需求。
通過對市場需求的觀察,希捷將客戶分為三類:
優化工作負載的客戶:這類客戶看中機械硬盤的大容量和低成本優勢。雖然機械硬盤在隨機讀寫性能上和固態硬盤比相差10-20萬,但順序讀寫上每秒能達到250M?;谶@些特性在業務層將工作負載順序化,將順序讀寫任務分配給機械硬盤,隨機讀寫任務則轉移到閃存上,降低了總擁有成本(TCO)。
停留在固定容量的客戶:有些客戶使用的機械硬盤容量停留在12TB左右,因更高容量的硬盤性能不理想,仍然選擇機械硬盤,因為價格較低,且未來隨著磁密度的提升,這類容量也可能有進一步的改進空間。
嘗試雙磁臂硬盤的客戶:采用雙磁臂硬盤技術在增加容量的同時可以保持單TB的性能不變,適用于對IO要求較高的業務場景,如塊存儲、郵件服務器。雙磁臂硬盤相比單磁臂硬盤價格略高,但性能提升顯著,是一種平衡成本與性能的選擇。
希捷已經提供了包括銀河Exos系列大容量機械硬盤、希捷雷霆Nytro系列固態硬盤,以及Mozaic 3+(魔彩盒3+)平臺等企業級數據存儲解決方案來滿足不同客戶的需求。其中Mozaic 3+(魔彩盒3+)帶來的30TB突破,單盤片容量達到了3TB,未來單碟容量還將達到4TB、5TB。
隨著存儲持續在AI領域發揮重要作用,更高的面密度和高容量也將成為決戰AI時代的關鍵。