Microsoft Mesh 開啟異想之門 結合 HoloLens 2 開發創新混合實境應用

雖然 HoloLens 2 於去年 12 月已正式登陸香港,亦陸續出現企業應用場景實例,然而企業對於混合實境應用的想像仍未見突破。直到 Ignite 2021 大會首次以沉浸式演講方式,介紹全新混合實境平台 Microsoft Mesh,展示如何將混合實境融入遙距協作,才成功為企業和開發者打通了創新之門,讓 HoloLens 2 大放異彩。

Microsoft Mesh 能透過混合實境營造臨場感,即使人們身處不同地方,感受亦猶如身處同一空間。與會者可與 3D 內容互動,或透過任何平台或裝置上的 Mesh 應用程式進行交流,例如旅行社可為客戶設計一個遊覽名勝的虛擬體驗,又或是建築公司可讓員工遙距參與虛擬模型的創作,共同設計大樓等。Mesh 更將整合 Microsoft Teams 和 Microsoft Dynamics 365,以便合作夥伴能開發更多元體驗的創新應用。

HoloLens 2 規格躍進有助開發創新應用

除了 Microsoft Mesh 這個強大的平台,HoloLens 2 本身的規格亦有助應用開發。首席項目經理 Charlie Han 就表示,較之上一代,HoloLens 可提供 2 倍視野,同時解像度大幅提升,加上手部追蹤更為精準,令沉浸式的混合實境體驗更佳。而為了高清視覺畫面,HoloLens 2 便用上了激光技術和鏡子反射這些激光呈現的畫面。據悉,HoloLens 2 更搭載了最新的飛行時間 (Time-of-flight)深度感測器,結合內置人工智能(Al)及認知功能,透過詮釋用家的自然肢體動作,讓用家可猶如控制實物般控制全息影像。

「因為微軟希望 HoloLens 2 的用戶是通過觸摸和手的移動,獲得需要的訊息和真實的感覺,所以在實際開發中,開發人員針對人的手型以及左右手分別設置了 25 個測度追蹤點。另外,HoloLens 2 亦包含眼球追蹤傳感器,讓人們與全息影像的互動更自然順暢。」Han 又透露,設計 HoloLens 2 時掃描了數以千計的頭型,從而獲取不同用戶的頭型數據,設計出能適合不同種族、地域和尺寸的人的頭型,佩戴舒適度大幅提升。

行業實例疫市現商機

當然,企業最關心的還是實際的應用場景,而自己的企業又能否受惠於混合實境應用。事實上,Microsoft 的混合實境服務善用了 Azure 的延展性,包括:Dynamics 365 Remote Assist、Dynamics 365 Layout,及 Dynamic 365 Guides 等應用程式,配合 HoloLens 2 成為全面混合實境平台的核心,為開發者提供各種可能性,如遙距服務支援、指導培訓、空間設計解決方案,或產品可視化等 AI 新體驗。

以 Visionaries 777 為例,便採用了專為零售行業而設的混合實境遙距計劃工具,讓團隊無須親臨零售店鋪,亦可以虛擬方式進行協作。Visionaries 777 使用了 Azure Digital Twins 建立零售店舖的數碼複製版,團隊可透過 HoloLens 2 在混合實境中看到實體店舖情況。用家可運用 Azure 的人工智能,分析以往及實時數據,包括顧客佔用率和產品銷售熱點,再轉化成有效的營銷策略。

另一個實例是疫情下需求激增的 STEM 教育。GoVR Immersive 開發的混合實境 STEM 教育內容 (Mixed Reality STEM Education Content),透過 Azure 及 HoloLens 2,為學生提供沉浸式教學體驗,透過將課堂轉成 3D 場景,學生不但能下載化學、物理、生物、天文學及語文科等大量的課程內容,更可透過沉浸教學和混合實境提高互動性,無須實體實驗室亦能加深對學科內容的了解。