學(xué)習(xí)一門語言的最佳方法，通常是讓自己沉浸在說這門語言的人所處的環(huán)境中。持續(xù)沉浸在這種語言環(huán)境中，加上溝通交流的壓力，能幫你很快學(xué)會和練習(xí)新詞匯。但并不是每個人都有機(jī)會在國外生活或?qū)W習(xí)。
位于美國紐約州特洛伊市的一所大學(xué)倫斯勒理工學(xué)院（Rensselaer Polytechnic Institute ，RPI）與IBM研究院（IBM Research）進(jìn)行了一項新的合作，為學(xué)生們提供了另一種選擇：360度虛擬環(huán)境。
通過它將學(xué)生們“傳送”到北京的繁忙街道或擁擠的中餐館，學(xué)生們將有機(jī)會與街頭小販討價還價或購買食物，環(huán)境中配有不同的人工智能功能，以便對其作出實時響應(yīng)。
盡管該課堂很大程度上是實驗性的，但今年夏天它將首次被應(yīng)用于這所大學(xué)一門為期六周的學(xué)分課程中。
該項目的靈感來自RPI的兩位教師，他們經(jīng)常利用角色扮演游戲來幫助學(xué)生學(xué)習(xí)漢語。與此同時，在過去幾年中，一些研究發(fā)現(xiàn)互動式學(xué)習(xí)環(huán)境可以提高語言的理解和記憶。
2018年發(fā)表的一項研究還發(fā)現(xiàn)，在3D虛擬環(huán)境中學(xué)日語使學(xué)生更容易通過模擬仿真學(xué)會他們偶然遇到的詞匯。兩位教授與IBM Research基于這些認(rèn)識展開了合作，探討他們是否能為自己的學(xué)生復(fù)制這些好處。
除了讓場景的數(shù)字投影環(huán)繞在學(xué)生周圍，該環(huán)境還使用多種類型的傳感器來動態(tài)適應(yīng)學(xué)生的話語和動作。參與者佩戴的麥克風(fēng)將他們的音頻直接提供給語音識別算法。
當(dāng)他們指向不同對象或走向不同的虛擬代理時，攝像頭會跟蹤他們的動作和手勢，并在虛擬場景中顯示出來。例如，如果學(xué)生指向餐廳場景中的一道菜并詢問它是什么，虛擬代理可以用名稱和描述來響應(yīng)。
“敘事生成”技術(shù)還能利用維基百科的知識，讓每個虛擬代理為即興提問（“這道菜的歷史是什么？”）構(gòu)建更復(fù)雜的答案。（然而，對話主題仍然有點局限于學(xué)生試圖完成的任務(wù)。）
該環(huán)境中的許多技術(shù)都是已投入商用的產(chǎn)品，它們編織在一起，便形成了一個整體體驗。但有些技術(shù)必須為該項目而專門開發(fā)。例如，普通話有五聲，對許多新學(xué)習(xí)者來說這是個挑戰(zhàn)，但它對傳達(dá)意義至關(guān)重要。說“賣”這個詞時稍有出入，你可能會說成“買”。
因此，研究人員發(fā)明了一種算法來分析學(xué)生發(fā)音的聲調(diào)。它將其與母語為漢語者的聲調(diào)進(jìn)行比較，顯示兩者的不同之處，然后在環(huán)境中直接提供音頻和視覺反饋。它使學(xué)生能向虛擬代理詢問有些東西該怎么表達(dá)，并立即開始練習(xí)新詞匯。
領(lǐng)導(dǎo)這項計劃的IBM研究院認(rèn)知與沉浸式系統(tǒng)實驗室主任蘇輝說，他的團(tuán)隊仍處于了解實驗效果的早期階段。但在2017年底的一個試點項目中，研究人員有了定性方面的發(fā)現(xiàn)，發(fā)現(xiàn)它提高了學(xué)生在語言學(xué)習(xí)中的參與度和樂趣，并幫助他們迅速學(xué)會新的詞匯。
例如，在餐館點菜前，學(xué)生們并沒有學(xué)支付餐費該怎么表達(dá)，但通過觀察同齡人和虛擬代理交談，許多人學(xué)會了支付餐費的必要詞匯。蘇說：“這有點出乎意料。其中一個學(xué)生評論說，語言教學(xué)就該這樣。”
第一年新課程將在近一半時間里使用虛擬環(huán)境，其余時間里使用傳統(tǒng)課堂，但這種安排未來可能有變化。
如果該課程能提供學(xué)生學(xué)習(xí)成績明顯改善的強(qiáng)有力證據(jù)，它就能為其它課程樹立榜樣。最直接的想法是將其經(jīng)驗擴(kuò)展到其他語言上，但它也可以用到大學(xué)以外的地方，指導(dǎo)公司高管，培訓(xùn)政府工作人員，或進(jìn)行其它可能從情景模擬和角色扮演中獲益的準(zhǔn)備活動。
蘇輝說，這項計劃最終將為研究人員的長期任務(wù)提供幫助，使他們能夠理解認(rèn)知與沉浸式環(huán)境是如何影響學(xué)習(xí)、協(xié)作和感知能力的。
