大学在语言学习方面已经走了很长一段路，超越了传统的演讲厅课程和预先录制的课程而没有互动。现在，学生可以在沉浸式学习环境中使用诸如人工智能(AI)和自然语言处理(NLP)之类的技术。这就是纽约伦斯勒理工学院(RPI)校园特洛伊认知与沉浸系统实验室(CISL)的情况。该研究所正是在这里与IBM Research合作开发了一项为期六周的夏季课程技术，在该课程中，学生可以与包括街道市场和餐馆在内的环境中的AI代理进行交互。

该课程名为“AI辅助沉浸式汉语”，在实验室的认知沉浸式房间(CIR)(也称为“情境房间”)中以计算机生成的场景的360度全景显示系统为特色。虚拟场景发生在。学生与由Watson Assistant提供支持的化身进行交谈，并获得语音和发音上的纠正。在CIR中，学生使用对话式AI，叙事生成，空间上下文感知以及手势和面部识别技术。

(资料图)

CIR是IBM Watson除教育外在多个行业中具有多种潜力的示例。这些行业包括农业，人力资源(HR)和车队管理。

在RPI上，除了Watson Assistant之外，学生还在研究中使用Watson语音到文本，Watson语音到语言和语言翻译器。

积极的学习经历

对于RPI的大三学生朱利安·王(Julian Wong)来说，沉浸式AI体验是一种学习普通话的诱人方式，因为它为他提供了一种更加积极的学习方式。由于普通话是一种音调语言，其音高变化可以改变单词的含义，因此AI体验中的化身会提供有关音调的反馈，以确保Wong和其他学生都能正确获得发音。

Wong说，在CIR中使用AI可以与正常的课堂时间保持良好的平衡。Wong说：“与计算机交谈……绝对可以在很多方面帮助学习语言，尤其是语言技能。”

黄的普通话班每周开会四次。在星期一和星期五，他与RPI副教授Helen Zhou一起在传统教室里上课。他在那里学习新的词汇，并介绍了短语和语法结构。在周二和周四，课程在CIR开会，学生与虚拟特工进行对话。Wong说，在餐厅环境中，学生可以完成整个过程，包括坐在餐厅里坐下来，看菜单，点菜，与侍者谈食物的准备方式以及付款。其他环境包括花园，市场和学校校园。

周说，沉浸式教室中的普通话课不同于传统环境，因为它提供了语言和视频的多模式体验。她说，传统课程将减少沉浸感和互动性。周说：“在沉浸式教室的模拟中，我们有两个特工互相搏斗，试图说服学生购买产品。”“因此，学生将通过个人经历来理解，而不是仅仅观看视频或听讲座。我相信，与仅仅从课本中学习或听录音带相比，他们将更容易理解文化。”

在CIR中，学生进行与他们所互动的场景有关的测验，并举手示意答案。房间内摄像头的计算机视觉技术可以捕捉他们的手势。该AI助理给出了相关现场，学生必须在一个短语回答测验。

Wong解释说：“如果要选择屏幕上的弹出窗口之一，则可以伸出手，手掌张开，然后合上手。”“您可以选择当前光标所在的位置。对于小测验，如果您知道正确的答案是什么，则可以将手移到要选择的字符上，然后合上手以选择它们。它会告诉您是否正确。”

虚拟座席大多数时候都会了解学生，除非他们可能没有将麦克风靠近嘴。该系统具有不同的语音识别设置，可以根据学生的发音来选择他们。如果您没有教授在场，它还会在对话中提供即时反馈。普通话班的学生可以在自己的时间上访问网站以访问语音剪辑进行练习。

RPI的沉浸式体验的一个很酷的功能是空间上下文感知，其中屏幕上的多个虚拟代理可以告诉您与哪个人进行眼神交流。Wong说：“如果您在看一个特工时说些话，那么那个特工会做出回应，而不是另一名特工。”

RPI的沉浸式体验是在语言教授和游戏设计教授聚在一起讨论更好的语言教学方法时创造的。IBM Research认知用户体验总监兼CISL主管Hui Su表示，开发角色扮演游戏的计划很快就变成了何通过模拟真实场景来教授普通话的讨论。IBM和RPI从2015年底开始开发该课程，并在那时建立了联合实验室。此后不久，CISL就形成了。

苏说：“实验室的目的是建立认知和沉浸式环境，以改善小组活动，在学习和决策过程中增强小组的智慧。”“我们还专注于建立认知沉浸式会议室……以查看紧急情况的数据，并试图理解这些信息并为决策者提供决策或建议。”

作为AI语言学习计划的一部分，IBM和RPI正在试验音高轮廓分析。Su介绍了这项技术的工作原理。苏说：“当你说一个音节时，当你说出一个音节时，底层的技术将捕获声音，并产生出你如何发音该音节的视觉轮廓。”“然后，它使用该视觉轮廓，并将该视觉轮廓与母语人士的视觉轮廓进行比较。”