Apple 公佈全新開源 AI 模型 Depth Pro 可從 2D 圖像生成 3D 深度數據

Apple 雖然不是在 AI 範疇最落力的企業,不過他們也一直有推出開源 AI 模型讓開發者社群有更多的選擇。最近他們就公佈一個新的 Depth Pro 模型,能夠在不到一秒的時間內,從單一 2D 圖像生成詳細的 3D 深度圖,而無需依賴傳統上用於進行此類預測的相機數據。

Depth Pro 的獨特之處在於其能夠估計相對和絕對深度,這種能力被稱為度量深度 (Metric Depth),也就是說這個模型可以提供相等於真實世界的測量結果,這對於虛擬物體需要精確放置在物理空間中的應用,例如擴充實境 (AR) 相當重要。

此外,Depth Pro 不需要在特定範疇的數據集上進行大量訓練就能做出準確預測,也就是「零樣本學習」(Zero-shot Learning),使模型具有優秀的通用性,可以應用於各種圖像,而無需在深度估計模型通常需要的特定相機數據。Depth Pro 在處理由於深度映射錯誤而似乎懸浮在空中的「飛行像素」問題上表現出色,在邊界追蹤方面也相當準確,可以清晰地描繪物體及其邊緣。

Apple 今次是以開源方式公佈 Depth Pro 模型。代碼和預訓練模型權重已可在 GitHub 上存取,研究團隊鼓勵開發社群可以在機械人、製造業和醫療保健等範疇進一步探索 Depth Pro 的應用。而本身 Apple 正在重點開發的 AR 應用和 Vision Pro 也預計會是這個模型可以帶來顯著幫助的產品,讓傳統 2D 記錄可以透過更自然的 3D 方式呈現。

來源:VentureBeats