自 2019 年 Facebook 併購 CTRL-labs 並整併至 Facebook Reality Labs(FRL)後,團隊不斷探索未來的人機互動(Human-computer interaction,HCI),正在開發自然、直覺的方式結合 AR 眼鏡進行操作互動。FRL 團隊近期發表對於 AR 眼鏡的願景,並展示以開發中的腕部穿戴裝置讀取 EMG(electromyography,肌電圖),創造一連串未來式體驗。

Facebook 已預告與雷朋(Ray-Ban)製造商 Luxottica 合作開發新產品,是導入 AR(Augmented Reality,擴增實境)技術的智慧眼鏡。雖然產品細節尚未公開,但可以想像佩戴者的視覺感受可望有虛擬影像與真實環境結合在一起,如實呈現您所看到的世界。

FRL 團隊認為,在探索未來人機互動時需要一個容易上手、極度可靠、保有隱私,同時還能讓您與現實世界隨時連結的創新介面。其中關鍵的 2 個要素,一是要能理解您的指令、行動、情境以及周遭環境的「情境感知 AI」,對您可能需要的資訊或想做的事進行深入推斷;二是讓您毫不費力就能向系統溝通、發出指令的方式,FRL 團隊稱之為「摩擦力極低的輸入方法」,例如動個手指頭就能點擊眼前的虛擬按鍵。

然而這樣的願景還需要很多年的時間才有可能實現,於是 FRL 團隊先分享一個近期有機會達成的版本:腕式輸入結合功能有限的情境感知 AI。

為何採取腕部穿戴裝置?

FRL 團隊在 6 年前成立時,就開始為 AR 眼鏡構思理想的輸入裝置,它需要支援多元操控方式,外形尺寸要能舒適佩戴一整天,還要具有低耗電量,使其足夠運作一整天。

那麼,戴在手腕上的穿戴式裝置是 FRL 團隊目前積極開發的做法。手腕是佩戴手錶的位置,既舒適也適合全天候佩戴,也與人們互動的主要工具「雙手」非常接近,易於打造腕式輸入的方式。

不過,FRL 團隊目前尚未找到能實現多元操控方式的明確路徑,而 EMG 成了最具潛力的解決方案。

EMG 是使用感測器,將從脊髓通過手腕流向手部的神經訊號轉化成數位指令,讓人們能藉由裝置控制各種功能。通過手腕的神經訊號非常清晰,EMG 因而能夠推斷小至 1 毫米的手指動作,而且這種控制能力具有高度個人化的特性,使得這種裝置也許能在您動動手指之前即感應到意圖。

想像一下,戴著腕部穿戴裝置結合 AR 眼鏡後,運用雙手就能隔空操作不同功能,例如手指「點擊」開啟網頁或特定功能、左右「滑動」選擇不同的照片或網頁、「敲打」眼前的虛擬鍵盤以輸入文字等,這種未來式體驗將會大大改變你我的生活方式。

圖片來源: Technology at Facebook

下一步:智慧點擊

未來系統可能提供用一個簡單的點擊動作來確認事項,而非透過選單方式點擊您想做的事,這就是 FRL 團隊正在努力開發的「智慧點擊」(Intelligent Click),藉由 AI 對用戶接下來可能想做的事情有一定的了解,進而提供建議。

比方說,您在慢跑時,系統會根據過去使用行為,認為您最有可能想邊跑步邊聽歌曲,接著便會自動顯示「播放跑步用播放清單?」只需要點選播放即可。由於智慧點擊會根據個人歷史紀錄與選擇,提供高度相關的建議,讓您使用最少的動作就能達到目的。

圖片來源: Technology at Facebook

另一方面,人們與外在世界互動,透過雙眼、雙手來完成各種動作,隨後接收外界傳來的各種回饋以了解這個世界的運作。即便未來使用腕式輸入的方式,同樣需要回饋循環,這時觸覺回饋技術將能派上用場。以虛擬射箭為例,透過腕式觸覺技術,能夠營造近似於拉開弓弦的感覺,以便讓您相信自己正在執行這個動作。

為此,FRL 團隊正在探索名為「波紋帶」(Bellowband)、「觸覺與擠壓手環介面」(Tactile and Squeeze Bracelet Interface,Tasbi)等原型機,藉此產生有趣的壓力與振動觸覺回饋。

本文轉載自《科技新報

分享