直以來,蘋果在大模型、語音助手上的研究不斷推陳出新,或許我們能夠從中獲得iOS 18所具備AI能力的關鍵一瞥。
「Siri太笨,根本無法與ChatGPT競爭」,前蘋果工程師John Burkey曾對Siri的評價如此不堪。
不過,誕生于11年的Siri,終于要迎來翻身的機會。
ChatGPT橫空出世之后,微軟、谷歌等科技巨頭,甚至OpenAI、Anthorpic AI等初創,都在你追我趕激烈地角逐。
在AI競賽上,蘋果卻一直姍姍來遲。
其實,早有傳言和報道稱,在過去幾個月中,蘋果實際上一直再等待一個時機,做出反擊。
先是與谷歌談判被爆出,后是與OpenAI開展合作,預計將AI模型能力整合進下一代iOS 18系統中。
除此以外,蘋果研究團隊也在一直開發自己的模型——Ajax。
而且,最近幾個月,蘋果在大模型等研究上的成果頻出,意味著這些AI能力可能會成為現實。
距6月開發者大會WWDC,也就不過一個月左右的時間,或許我們可以從這些研究中,一瞥蘋果的AI能力。
更小、更高效LLM裝進iPhone
相信所有人的期望都是一樣的——想要一個更好的Siri。
而現在看起來,換新的Siri即將到來,完成超強進化!
ChatGPT之后,大模型誕生的數量也是數不勝數,然而許多科技公司都希望LLM能夠賦能虛擬助手,讓其變得更優秀,更智能。
對于蘋果來說,想要讓Siri不再被人,說笨就需要盡快構建這些模型,讓其能裝進手機。
彭博最近報道,在iOS 18中,蘋果計劃讓所有AI功能,都運行在設備上,而且可以完全離線使用。
而現在的困難是,即便你有一個數據中心和數千個GPU組成的網絡,要建立一個良好的多用途的模型,并裝進手機,是非常困難的。
因此,蘋果不得不發揮創意。
在一篇名為LLM in a flash: Efficient Large Language Model Inference with Limited Memory的論文中,研究人員設計了一個系統,可以將通常存儲在設備RAM中的模型數據,存儲到固態硬盤(SSD)上。
論文地址:https://arxiv.org/pdf/2312.11514
具體來說,研究證明了,在SSD上運行的LLM的大小,可以達到可用DRAM的2倍。
與傳統的CPU加載方法相比,推理速度提高了4-5倍,而GPU提高了20-25倍。
他們發現 ,通過利用設備上最廉價的可用存儲模型,模型可以運行得更快、更高效。