毫無(wú)疑問(wèn)，新款 iPad Pro 仍然是閱讀、游戲、觀看視頻及繪畫等領(lǐng)域的最佳平板。但隨著 M4 芯片、妙控鍵盤及 Apple Pencil Pro 的加入，iPad 比任何時(shí)候都更接近一臺(tái)筆記本電腦。

那么，是否 iPad 會(huì)在未來(lái)漸漸成為一款帶有觸控功能的 MacBook？

答案可能是否定的。

在最新的 iOS 18 中，蘋果用這項(xiàng)「輔助功能」，為我們預(yù)言了一種關(guān)于 iPad 交互的新未來(lái)。

眼動(dòng)追蹤：從 Vision Pro 到 iPad

近期，蘋果公司公布了其 iPadOS 18 操作系統(tǒng)中新加入的「眼球追蹤」功能，這項(xiàng)看似不起眼的功能卻被放在了介紹頁(yè)面之首。

說(shuō)起眼動(dòng)追蹤，可能很多人第一個(gè)想到的還是此前蘋果發(fā)布的 Vision Pro，這款設(shè)備最突出的特征之一就是采用了眼動(dòng)追蹤的方式代替?zhèn)鹘y(tǒng)手柄。

用戶可以通過(guò)眼球的移動(dòng)，來(lái)控制應(yīng)用程序，進(jìn)行菜單導(dǎo)航，甚至是玩游戲，無(wú)需依賴觸控或外部設(shè)備，大大提升了使用的便捷性，展示出了這種交互方式的魅力。

這主要得益于 Vision Pro 分布在內(nèi)的數(shù)個(gè)紅外攝像頭及 M2、R1 雙芯片的設(shè)計(jì)，使其能夠利用圖像處理技術(shù)提取與眼動(dòng)相關(guān)的特征，并通過(guò)建立模型的方式實(shí)現(xiàn)眼動(dòng)追蹤。

Vision Pro 攝像頭分布，圖片來(lái)自蘋果

而不久前發(fā)布的新款 iPad Pro 在形態(tài)上的一個(gè)重要改變，就是把攝像頭從窄邊挪到了長(zhǎng)邊上。

攝像頭模組中的點(diǎn)陣投影儀、泛光感應(yīng)元件、前置攝像頭、紅外攝像頭搭配全新 M4 芯片，如今看來(lái)或許就是在為后續(xù)計(jì)劃鋪路。

此次的更新描述中也顯示，蘋果的眼球追蹤功能完全由設(shè)備上的機(jī)器學(xué)習(xí)實(shí)現(xiàn)，這意味著它不需要任何額外的硬件，并且可以立即在所有運(yùn)行 iPadOS 18 的設(shè)備上使用，印證了這一判斷。

圖片來(lái)自嗶哩嗶哩博主：微機(jī)分 WekiHome

目前業(yè)界公認(rèn)的眼動(dòng)追蹤方法，有基于外觀的眼動(dòng)追蹤方法與基于二維映射的眼動(dòng)追蹤方法兩種。

前者主要以人臉圖像或眼部圖像為輸入進(jìn)行特征提取，然后通過(guò)機(jī)器學(xué)習(xí)將這些特征和視線方向關(guān)聯(lián)起來(lái)。這種方法設(shè)備簡(jiǎn)單，只需要攝像頭就能完成，但它需要大量的訓(xùn)練數(shù)據(jù)來(lái)建立準(zhǔn)確的模型，從而正確地解讀你的視線方向。

而另一種基于二位映射的眼動(dòng)追蹤方法，則主要通過(guò)分析眼球和角膜反射的相對(duì)位置變化來(lái)確定眼球運(yùn)動(dòng)。

由于眼球運(yùn)動(dòng)時(shí)角膜反射光斑位置不會(huì)變化，因此就可以作為瞳孔運(yùn)動(dòng)的參照點(diǎn)，根據(jù)兩者相對(duì)位置的變化，計(jì)算實(shí)現(xiàn)方向。

校準(zhǔn)時(shí)你需要注視屏幕上的特定點(diǎn)，系統(tǒng)會(huì)記錄這些點(diǎn)和你的眼睛數(shù)據(jù)，建立一個(gè)映射模型。之后，當(dāng)你看向其他地方時(shí)，系統(tǒng)就能通過(guò)這個(gè)模型準(zhǔn)確地知道你在看哪里。

瞳孔-角膜反射向量法示意圖，圖片來(lái)自網(wǎng)絡(luò)

其實(shí)如今看來(lái)，眼動(dòng)追蹤的原理并不十分復(fù)雜，以現(xiàn)有的硬件條件足以滿足需求。但實(shí)際上，想要實(shí)現(xiàn)這一功能，蘋果其實(shí)經(jīng)歷了很長(zhǎng)的歷程。

布局多年的最后一步

早在多年以前，蘋果就開(kāi)始布局眼動(dòng)追蹤領(lǐng)域，網(wǎng)絡(luò)相關(guān)人才及技術(shù)。

2013 年，蘋果收購(gòu)了來(lái)自以色列的 PrimeSense，該公司曾為微軟提供 Xbox 的 Kinect 的動(dòng)作控制技術(shù)提供支持。

PrimeSense 創(chuàng)始人合影

這家公司曾推出過(guò)一款非常小巧，可嵌入手機(jī)、平板等設(shè)備的 3D 攝像頭——Capri。這是 PimeSense 在 2013 年 Google I/O 大會(huì)上展示的內(nèi)容：

Capri 被安裝在谷歌 Nexus 平板電腦上

Capri 對(duì)真實(shí)場(chǎng)景進(jìn)行 3D 建模，并獲得場(chǎng)景內(nèi)物體的長(zhǎng)、寬、高等具體數(shù)據(jù)

通過(guò) AR 技術(shù)模擬出椅子在真實(shí)空間中的碰撞信息

將 3D 圖像傳輸?shù)?3D 打印機(jī)完成 3D 打印

一同推出的還有在當(dāng)時(shí)號(hào)稱 “全球最小的 3D 感知芯片”，由于不錯(cuò)的性能和小巧的體積，使其能夠部署到手機(jī)、電視等諸多電子設(shè)備上。

2017 年，蘋果又收購(gòu)了一家來(lái)自德國(guó)的老牌眼球追蹤技術(shù)公司 SensoMotoric Instruments，它曾一度是全球最大的眼動(dòng)設(shè)備的生產(chǎn)商。

憑借「鈔能力」帶來(lái)的一系列關(guān)于眼動(dòng)追蹤的硬件及軟件，蘋果在同年首次將眼動(dòng)追蹤功能用于其 Face ID 中，來(lái)提升解鎖的安全性。

此后數(shù)年間蘋果不斷有眼動(dòng)追蹤相關(guān)的專利申請(qǐng)流出，蘋果也在不斷探索，這不僅促成了 Vision Pro 基于眼動(dòng)追蹤的交互方式，也催生出了其他蘋果設(shè)備上關(guān)于的眼動(dòng)追蹤的無(wú)限可能。

早期關(guān)于眼動(dòng)追蹤及「注意力檢測(cè)」專利內(nèi)容

眼動(dòng)追蹤的未來(lái)暢想

相比傳統(tǒng)交互方式（鼠標(biāo)、鍵盤、觸控等），眼動(dòng)追蹤存在這樣幾個(gè)優(yōu)勢(shì)：

• 自然直觀：眼動(dòng)追蹤利用人眼的自然運(yùn)動(dòng)進(jìn)行交互，不需要額外的操作設(shè)備。用戶只需注視目標(biāo)即可完成相應(yīng)的操作，降低了學(xué)習(xí)成本，交互更符合直覺(jué)。
• 提升效率：眼部肌肉是人體反應(yīng)速度最快的肌肉之一，通過(guò)眼動(dòng)追蹤，用戶可以更快地選擇和控制界面元素，還可以減少手部動(dòng)作，提高操作速度和效率。
• 與其他輸入方式組合：眼動(dòng)追蹤可以與其他輸入方式結(jié)合使用，如語(yǔ)音控制和手勢(shì)操作，提供更豐富和靈活的交互方式。
• 多任務(wù)處理：用戶可以在執(zhí)行其他任務(wù)（例如駕駛或行走時(shí)）或同時(shí)處理多項(xiàng)任務(wù)時(shí)，僅僅使用眼動(dòng)追蹤控制而不需要多余的動(dòng)作，提高操作效率。
• 數(shù)據(jù)分析與個(gè)性化：眼動(dòng)追蹤可以提供關(guān)于用戶注意力和興趣的寶貴數(shù)據(jù)。這些數(shù)據(jù)可以用于優(yōu)化界面設(shè)計(jì)、廣告投放和用戶體驗(yàn)個(gè)性化，使系統(tǒng)更加智能和用戶友好。
• 增強(qiáng)現(xiàn)實(shí)（AR）：在 AR 環(huán)境中，眼動(dòng)追蹤可以提供更加沉浸式和自然的交互體驗(yàn)。用戶可以通過(guò)注視來(lái)選擇和操作虛擬對(duì)象，提升使用體驗(yàn)。

也正是得益于這些優(yōu)勢(shì)，使其在很多具體場(chǎng)景中展現(xiàn)出了巨大潛力。

例如在很多游戲中，除了帶來(lái)更加便捷的操作以外，眼動(dòng)追蹤也會(huì)給玩家?guī)?lái)更好的沉浸感，讓玩家只需通過(guò)實(shí)現(xiàn)就能控制游戲內(nèi)角色進(jìn)行互動(dòng)。

使用眼動(dòng)追蹤控制游戲，圖片來(lái)自網(wǎng)絡(luò)

此外，實(shí)現(xiàn)眼動(dòng)追蹤功能后，開(kāi)發(fā)者還能根據(jù)眼動(dòng)數(shù)據(jù)調(diào)整場(chǎng)景光照、視角變化等諸多參數(shù)，適配用戶個(gè)人視覺(jué)習(xí)慣，使游戲畫面更加逼真。

游戲中的社交，也可以通過(guò)虛擬人物實(shí)現(xiàn)隨玩家面部實(shí)時(shí)變化的各種動(dòng)作狀態(tài)，例如實(shí)現(xiàn)方向、眨眼、瞇眼等，豐富人物的情緒表達(dá)，從各個(gè)方面提升游戲的沉浸性。

除了游戲以外，這項(xiàng)技術(shù)給日常生活帶來(lái)的變化或許才是更值得期待的。

Vision Pro 在發(fā)布后，一個(gè)重要應(yīng)用場(chǎng)景就是教育、醫(yī)療等場(chǎng)景，毫無(wú)疑問(wèn)這在實(shí)現(xiàn)眼動(dòng)追蹤的 iPad 上同樣適用。

諸如飛行員模擬訓(xùn)練、手術(shù)模擬等職業(yè)訓(xùn)練領(lǐng)域，通過(guò)跟蹤學(xué)員的眼球運(yùn)動(dòng)來(lái)評(píng)估決策速度和準(zhǔn)確性。

眼動(dòng)追蹤可為教師提供關(guān)于學(xué)生學(xué)習(xí)過(guò)程中的注意力集中點(diǎn)和理解程度的實(shí)時(shí)反饋，有助于個(gè)性化教學(xué)策略的指定和改進(jìn)課程內(nèi)容。

安裝在飛行駕駛模擬教學(xué)設(shè)備上的眼動(dòng)追蹤設(shè)備

還有一些場(chǎng)景非常適合眼動(dòng)追蹤這種交互方式，例如家居環(huán)境就是其中之一。通過(guò)眼動(dòng)追蹤，使 iPad 成為智能家居中控臺(tái)，實(shí)現(xiàn)對(duì)家居的控制；或者在手上有其他事情，或手很臟的時(shí)候提供更好的交互體驗(yàn)等。

雖然眼動(dòng)追蹤應(yīng)用潛力非常巨大，但也有部分業(yè)內(nèi)人士對(duì)該技術(shù)的安全性提出了質(zhì)疑。

數(shù)據(jù)表明，一個(gè)人的眼部數(shù)據(jù)會(huì)暗含用戶的年齡、性別、種族、情緒狀態(tài)、性格特征等等多種信息。

加州大學(xué)洛杉磯分校技術(shù)、法律和政策研究所的創(chuàng)始人和教職聯(lián)席主任 John Villasenor 表示：

一旦眼動(dòng)追蹤技術(shù)成熟，它將收集更多的信息：我們?cè)诰W(wǎng)上閱讀的內(nèi)容，甚至我們的閱讀過(guò)程。比如，我們是否看到了網(wǎng)頁(yè)廣告，想了一會(huì)，最后沒(méi)去點(diǎn)擊？我們?cè)陂喿x整個(gè)網(wǎng)頁(yè)的時(shí)候，眼球是怎么移動(dòng)的？我們更喜歡或者避開(kāi)哪些字，詞語(yǔ)，或者主題？在未來(lái)，展示到我們眼前的廣告，是否將不僅僅只是取決于我們買過(guò)什么東西，還將取決于我們眼球的運(yùn)動(dòng)狀態(tài)？