利用认知负荷相关语言线索预测解释性交互中的理解状态
计算与语言
2026-05-08 v1
摘要
我们研究了说话者和听者在对话中所展现的 verbal 和 nonverbal 语言特征如何在解释性交互中帮助预测听者的即时理解状态。具体而言，我们检验了三个与认知负荷相关的语言线索及其与听者理解程度的相关性：说话者言语的信息价值（以惊讶值 operationalise）和句法复杂度，以及听者交互凝视行为的变异性。基于对面对面对话式棋盘游戏解释语料库（MUNDEX corpus）的统计分析，我们发现各个线索均随听者的理解程度而变化。听者的状态（'理解中'、'部分理解'、'不理解' 和 '误解'）通过回溯视频召回方法由听者自行标注。随后的一项分类实验中，使用两个通用分类器和一个微调的德语 BERT 多模态分类器，表明这些四种理解状态的预测在一般情况下是可能的，并且在考虑三个语言线索以及文本特征时会有所改善。
引用
@article{arxiv.2603.20079,
title = {Predicting States of Understanding in Explanatory Interactions Using Cognitive Load-Related Linguistic Cues},
author = {Yu Wang and Olcay Türk and Angela Grimminger and Hendrik Buschmeier},
journal= {arXiv preprint arXiv:2603.20079},
year = {2026}
}