Google DeepMind發表AI滑鼠指標 理解「這」與「那」革新互動

927bfe4a 0a4c 447e 9e89 e78918c53716

927bfe4a 0a4c 447e 9e89 e78918c53716
圖/本報AI製圖(示意圖)

商傳媒|何映辰/台北報導

Google DeepMind 正在研發一款結合人工智慧的滑鼠指標,這項技術能理解使用者在螢幕上點擊的上下文,是逾半世紀以來滑鼠指標設計的重大突破。這項創新整合了 Google 的 Gemini AI 模型與實驗性的情境感知滑鼠指標,旨在讓 AI 助手能更直覺地融入數位互動,免去使用者在不同應用程式間複製、貼上或拖曳內容的繁瑣操作,提升使用流暢度。

根據《The Register》報導,現行的 AI 助手往往需要使用者手動將內容複製到獨立的聊天介面,造成使用上的阻礙。Google DeepMind 的研究團隊則希望實現「直覺式 AI」,讓 AI 能在使用者使用的所有工具中提供協助,而不會中斷其操作流程。這個 AI 滑鼠指標將與電腦麥克風協同運作,讓 Gemini 能在使用者點擊螢幕的同時接收語音指令,進而理解「這個」、「那個」等自然語言指示。

一項展示範例顯示,使用者只要用滑鼠指向螢幕上的螃蟹圖示並說「把這個移到這裡」,系統就能理解語境,自動移動該圖示。這項技術基於「保持流暢性」、「展示與說明」、「將像素轉化為可操作實體」以及「基於人類自然溝通」四大設計原則。其中,「將像素轉化為可操作實體」允許滑鼠指標識別螢幕內容中的結構化物件,例如能將筆記的照片轉換為待辦事項清單。

歷史上,首款電腦滑鼠是由道格拉斯·恩格爾巴特(Doug Engelbart)和比爾·英格利許(Bill English)於 1964 年製造的原型機,並在 1970 年獲得專利,當時恩格爾巴特就曾提及人機互動應更自然便利。Google DeepMind 的研究正是延續了這項願景,讓 AI 能夠在不中斷使用者流程的情況下,提供更深層次的互動。

這項名為「Magic Pointer」的功能預計將在即將推出的 Googlebook 筆記型電腦平台上亮相。此外,Gemini in Chrome 的使用者未來也能夠指向網頁特定區域並提出問題。目前,這款 AI 強化指標的實驗性演示已透過 Google AI Studio 提供,而 Google 也計劃在包括 Google實驗室(Google Labs)旗下的 Disco 在內的其他平台繼續測試這項概念。

927bfe4a 0a4c 447e 9e89 e78918c53716

想讓品牌在新聞媒體曝光? 立即點我加入官方LINE@免費諮詢

相關新聞

最新消息