TRAIMA研究项目报告

TRAIMA项目（学习环境中多模态交互的自动处理）于2019年3月至2020年6月期间进行，研究了在教育环境中自动处理多模态交互的潜力。该项目解决了教育和交互研究中的一个核心方法论挑战：言语、副言语和非言语数据的分析目前是手动进行的，这使得分析极其耗时且难以规模化。TRAIMA探索了机器学习方法如何有助于对此类交互进行分类和归类。该项目特别关注课堂互动中发生的解释性和协作性序列，尤其是在法语作为外语(FLE)和法语作为母语(FLM)的语境中。这些序列被分析为固有的多模态现象，结合了口语与韵律、手势、姿势、注视和空间定位。该项目的一个关键理论贡献是将解释性话语精确定义为语言学与交互学上的三分序列（开场、解释核心、收尾），借鉴了话语分析和交互语言学。研究的很大一部分致力于转写的方法论基础，这是任何形式自动化的关键瓶颈。报告详细介绍了现有转写惯例（ICOR、Mondada、GARS、VALIBEL、Ferré）的最新进展，强调了它们在应用于多模态课堂数据时各自的优势和局限性。通过对手动转写序列的比较分析，该项目展示了转写实践中不可避免的变异性和解释性维度，这取决于理论定位和分析目标。实证工作基于多个语料库，特别是INTER-EXPLIC语料库（约30小时的课堂互动）和EXPLIC-LEXIC语料库，它们既作为手动标注的试验场，也作为未来自动化的参考数据集。特别关注教师手势（动觉和近距资源）、韵律特征及其在意义构建和学习者理解中的功能作用。该项目还强调了TechnéLAB平台的战略作用，该平台提供先进的多模态数据捕获（多摄像机视频、同步音频、眼动追踪、数字交互痕迹），既是研究基础设施，也是开发自动化工具的测试环境。总之，TRAIMA的目标并非提供一个完全可操作的自动化系统，而是为自动处理多模态教学交互建立一个严谨的方法论框架。该项目确定了与机器学习方法兼容的转写惯例、标注类别和分析单元，同时强调了理论明确性和研究者反思性的必要性。因此，TRAIMA为未来在教学法、话语分析、多模态性和教育人工智能交叉领域的跨学科研究奠定了基础。