驚艷眾人的 Vision Pro 竟偷偷裝了「腦機接口」？

蘋果 Vision Pro 的橫空出世，一夜之間在全球引起軒然大波。

正如庫克所稱，這將開啟「空間計算」時代，足見 Vision Pro 對所有人來說意義非凡。

戴上 Vision Pro，只需眨眨眼，捏合手指，甚至動動嘴，「頭號玩家」的科幻便成為可能。

但，蘋果 Vision Pro 的科幻感，不僅于此。

頭顯發布后，蘋果前研究員 Sterling Crispin 在推特回顧自己工作中，透露了不少關于 Vision Pro 的「黑科技」。

最讓人驚艷的是，Vision Pro 其實還暗藏著一種「腦機接口」技術。

不需要芯片植入，它就能預測你的大腦行為，妥妥的「讀心術」。

此外，蘋果頭顯還能根據個人身體和大腦的數據，來檢測心理狀態。

看似篇幅不長的推文中，其實給許多人對蘋果 Vision Pro 帶來了無限的暢享。

Vision Pro 暗藏「腦機接口」？

2018 年，SterlingCrispin 加入蘋果技術開發小組，擔任「神經技術原型」的研究員。

3 年前，他開始參與 Vision Pro 的研發工作。

正如他在推特上所稱，自己花費人生 10% 的時間為 Vision Pro 的開發做出貢獻，這是我做過的最長的一次努力。

Crispin 在蘋果的大部分工作都受到保密協議的約束，設計廣泛的主題和方法。

但其實，這些工作，有些蘋果已經申請了專利，可以拿出來講。

Crispin 稱，「要使特定預測成為可能，涉及很多技巧，我提到的少數專利對此進行了詳細說明。」

最酷的能力就是能夠預測用戶，會在他們實際點擊之前，點擊某些東西。

而這項技術背后的主要原理是，每個人在做每件事之前，瞳孔會做出反應，其中部分原因是你預計在你點擊之后會發生一些事情。

因此，蘋果可以通過算法來監視你的眼睛行為。

并實時重新設計 UI，以創建更多這種預期的瞳孔反應，從而創建個人大腦的生物反饋。

這其實就是通過眼睛實現的初級「腦機接口」。

Crispin 表示，「這是一項艱巨的工作，也是我引以為豪的事情。隨時都會接受侵入性腦部手術。」

從中可見，蘋果頭顯利用大量神經科學技術來開發其中的一些關鍵功能，憑借不同技巧來確定一個人將要做的事。

此外，Crispin 稱自己工作很大一部分，涉及通過用戶在沉浸式體驗中的身體和腦部數據，來檢測用戶的心理狀態。

畢竟沉浸在虛擬世界中的人們，真的很需要有個健康檢測的功能。

當你處在混合現實，或者虛擬現實體驗中，AI 模型嘗試預測你是否感到好奇、思維漫游、害怕、注意力集中、記起過去的經歷或其他認知狀態。

而這些都可以通過眼動追蹤、腦部電活動、心臟跳動和節奏、肌肉活動、大腦中的血液密度、血壓、皮膚電導等測量數據來推斷。

除了以上提到的技術，推測認知狀態還包括你可能察覺不到的方式。

比如，向你快速閃爍視覺效果，或者聲音，然后測量你對此的反應。

還有一項專利介紹了，如何使用機器學習，以及來自身體和大腦的信號來預測你的注意力、放松程度或學習情況。

然后，頭顯會自動更新虛擬環境，以增強這些狀態。

因此，你可以想象一個自適應沉浸式環境，它可以通過改變你在背景中看到和聽到的內容，來幫助每個人學習、工作或放松。

Sterling Crispin 介紹的這些和科技，或許我們能夠在 VisionPro 未來迭代升級中看到。

背后部分專利一覽

支撐發布會上魔幻演示的效果的，是蘋果在默默開發 VR 設備這么多年中自己的技術積累。

5000 多項 VR 專利，是發布會上驚艷眾人產品和基石和護城河。

現在就來看看演示中涉及到的專利技術。

雙手 + 意念控制一切

市面上幾乎所有的 VR 設備都配備了手柄。

但是蘋果卻大膽的在自己的第一款 VR 產品中就完全依賴手勢追蹤和眼球追蹤實現了絲滑的控制效果。

背后的技術在 2023 年獲得了專利。

根據專利圖示，FIG.1 是 3D 操作環境的框架圖，展示了用戶 UI 實現的整體框架。

FIG.4 是捕捉用戶的手勢輸入的頭顯計算機系統的手部跟蹤單元的框架圖。

FIG.5 是用戶的眼球追蹤數據輸入的頭顯計算機系統的眼睛跟蹤單元的框架圖。

這個專利圖例展示了眼球反光輔助眼球追蹤的流程圖。

除了提供手部和眼球追蹤技術的基礎之外，該專利還描述了用戶如何在 3D 環境中更有效的進行交互的設計和流程。

強大的手勢追蹤體驗，還源于今年 5 月，蘋果又獲得了一項專利。

這項專利描述了頭顯中的攝像頭如何使用深度映射來區分不同的手勢。

圖注:FIG.7E / F / H / I 說明了相對于三維環境，基于用戶在一系列用戶輸入期間保持的手握力從而有選擇地移動虛擬對象或相對于三維環境移動視點維度環境。

一鍵生成 3D 形象

還記得之前被全網嘲諷的小扎在 Horizon World 里的 3D 形象嗎？

蘋果給出了的方案也許部分解釋了為什么同樣是做 VR 設備，蘋果能引爆全網，Meta 卻讓自己的股票「跌跌不休」。

背后的技術專利也在上周被公布出來。

這個專利描述了未來的 Apple Watch 和 XR 頭顯將允許用戶使用設備上的相機設置自己的 3D 頭像的技術。

在專利的示意圖中，蘋果展示了未來的 Apple Watch 允許用戶使用 Apple Watch 背面的傳感器拍攝自己的 Face ID 圖像。

該傳感器技術同樣可用于 XR 環境。

無限畫布

蘋果發布會上演示的 Vision Pro 可以將周圍空間作為無限畫布。

用戶不僅可以隨意使用任何 APP，而且可以把它們調成喜歡的任意尺寸。

蘋果在 2018 年就申請了和這個功能相關的專利，這項技術讓未來的 XR 頭顯提供用戶在 3D 環境中編輯文檔的功能。

如下圖 Apple 的專利圖所示。

另一個相關專利是 2021 年獲得的讓佩戴 XR 頭顯設備 的用戶可以查看顯示器(Mac、MacBook 或電視)并根據需要進行虛擬擴展的技術。

收購 AR 初創公司 Mira

其實，從申請多項專利可見，蘋果在 AR / VR 領域的探索，蓄謀已久。

最早可以回溯到 2010 年，蘋果就收購了來自瑞典的面部識別技術公司 Polar Rose。

在 Vision Pro 推出的后一天，就傳出了蘋果近來收購了 Mira。這是一家構建輕量級 AR 頭顯的初創公司，還為美國軍方提供服務。

根據 Mira 首席執行官 Ben Taft 在 Ins 上的帖子顯示，作為收購的一部分，蘋果已經聘請了至少 11 名 Mira 的員工。為 Mira 在蘋果的下一篇章感到興奮。從宿舍到收購的 7 年旅程。

目前，具體收購金額未知，也不清楚 Mira 在蘋果的增強現實路線圖中扮演怎樣的角色。

據 2 名前員工透露，蘋果前設計主管 Jony Ive 曾一度擔任這家初創公司的顧問。

Mira 于 2016 年由 Ben Taft 創立，總部位于洛杉磯，一直在為全球客戶生產 AR 頭顯，包括任天堂在日本環球影城中的主題公園。

這家初創公司迄今已籌集了約 1700 萬美元的資金，包括藍熊資本、幸福投資和紅杉資本在內的投資者。

而蘋果在 Vision Pro 中展示出來的很多技術，也是源于一次次成功的收購。

比如一些手勢和空間定位的專利技術，就是通過收購了總部位于蒙特利爾的 VRvana 獲得的。

頭顯「iPhone 時刻」到來，還需 5 年

蘋果推出的 Vision Pro，預示著它的下一個時代即將到來。

這款頭顯標志著蘋果首次創建了一個新的計算平臺，可以取代現有的大部分主要產品。

盡管 iPhone 蠶食了 iPod，iPad 威脅到了 Mac。但是，還沒有哪一個蘋果產品類別能夠同時擊敗當前 3 個主要細分市場。

彭博報道稱，想讓 Vision Pro 成為 iPhone 的替代品，至少需要 5 年的時間。若要成為殺手級產品，可能需要付出更多的時間。

而且設計還是太過笨重，而且必須隨身裝一個外置電池組，僅有 2 小時電量，無法長時間使用。

但在接下來的幾年里，蘋果能夠解決這些問題，并推出一款「無所不能」的設備。

表面來看，Vision Pro 看起來就像是一個為有錢人，或者那些對科技新品有無限需求的人而定制的「高價玩具」。

但是，蘋果在 WWDC 上也竭力表明，這是每個人的設備，從辦公、到娛樂、視頻、出行等等方面。

不過，這并非不可能。

蘋果在 iPhone、MacBook 等產品的迭代更新向世人展示了自身的潛力。

進而，Vision Pro 及其更先進的后續產品的發展價值，也將變得更加清晰。

其實還有一點是，Vision Pro 并不像 iPad 或 iPhone 一樣容易上手。而且每個人戴上頭顯還可能會有沉浸體驗的不舒適感。

不過，隨著時間的推移，人們便會習慣這種全新的「空間計算機」，就像戴一副眼鏡一樣。

通過 Vision Pro，蘋果展示了自己正朝著將計算設備體積縮到最小、最輕便的未來努力。

但這可能是一條漫長，而崎嶇的道路。

不過，至少在周一的 2 個小時里，對于數百萬果粉來說，這款頭顯讓他們終于見證了 Vision Pro 的到來。

或許有一天，我們可能會戴著 Vision Pro，觀看 WWDC 2030。

參考資料: