IBM:用 AI 虛擬實景學外語

身在美國的老外,可以怎樣學普通話?在紐約州特洛伊市倫斯勒理工學院(Rensselaer Polytechnic Institute ),學生可站在配備 AI 技術的「認知沉浸室」內,直接走進夏日的中國街頭。兩個小販迎面走來,開始用地道普通話,互搶生意兜售貨品。老外顧客該用甚麼詞彙、甚麼語氣對答,是融入當地文化的有趣挑戰。

講價的商販,原來是投影在 360 度熒幕上的人物,學員可隨時把場景叫停,覆查自己對答是否恰當。系統用人工智能與學生對話,能根據空間情景脈絡、手勢、表情作出反應。這個為期六周的「AI 輔助漢語沉浸」學分課程,來自認知及沉浸系統實驗室(CISL ),是該校與 IBM 研究團隊合作研發的課程,也是 IBM AI Horizons Network 的應用項目。

課程去年夏天經過測試,今年七月正式開課。學生可在多個虛擬實景練習普通話,以完成日常任務,包括市場講價、大學校園生活、機場對答、到訪城市,及餐廳點菜。系統新增多名學生與多個虛擬角色同時交談的功能,利用鏡頭及感應器,檢測學生頭部移動和位置,決定學生正與誰交談。

IBM Watson 語音辨識及中英文自然語言處理,讓學生可向系統求助,程式會闡明怎樣用普通話表達。為幫助學生掌握普通話四種聲調,程式內置音調輪廓分析技術,能評估學生發音,與母語人士發音進行比較,即時提供影音反饋。學習外語的最佳方法,是將自己沉浸在當地社會環境,有大量機會練習口語。CISL 開發出沉浸式語言學習環境,讓非母語學生毋須旅行,也能走出課堂,置身於文化豐富的學習環境中。

作者:IBM Cloud 與認知軟件總經理李潤權