中文

用于评估第二语言对话的可解释且跨语言方法

计算与语言 2025-02-20 v2

摘要

我们分析了最初为英语第二语言对话设计的对话评估框架的跨语言迁移性,该框架评估了微观层次语言特征(如背部信令)与宏观层次互动标签(如话题管理)之间的关系。为此,我们开发了CNIMA(Chinese Non-Native Interactivity Measurement and Automation),一个拥有 1 万 份对话的中文第二语言标注数据集。我们发现该评估框架在不同语言之间具有稳健性:英语和中文,揭示了微观层次与宏观层次特征之间的语言特定和语言通用关系。接下来,我们提出一种自动化、可解释的方法,要求数据量较少,基于该框架对第二语言对话的整体质量进行评分。该方法的可解释性在于揭示了贡献于整体质量评分的关键语言和互动特征。由于该方法无需标注数据,因此可适用于其他语言进行第二语言对话评估。

关键词

引用

@article{arxiv.2408.16518,
  title  = {An Interpretable and Crosslingual Method for Evaluating Second-Language Dialogues},
  author = {Rena Gao and Jingxuan Wu and Xuetong Wu and Carsten Roever and Jing Wu and Long Lv and Jey Han Lau},
  journal= {arXiv preprint arXiv:2408.16518},
  year   = {2025}
}

备注

Accepted to NAACL HLT 2025