为反馈预测建模说话者-听者交互
计算与语言
2023-04-11 v1
摘要
我们展示了关于反馈建模的最新发现，其新颖动机来自英语中最小回应Yeah和Uh-huh及其对应德语词符的规范使用，以及编码说话者-听者交互的效应。反馈理论强调听者在对话过程中的主动且持续的角色、其对说话者后续话语的影响，以及随之而来的动态说话者-听者交互。因此，我们提出了一种基于神经网络的声学反馈分类器，通过对说话者语音的声学特征进行处理、捕捉并模仿听者的反馈行为，以及编码说话者-听者交互，来针对最小回应进行分类。我们在Switchboard和GECO数据集上的实验结果表明，在几乎所有测试场景中，说话者或听者行为嵌入均有助于模型做出更准确的反馈预测。更重要的是，一种恰当的交互编码策略，即结合说话者与听者嵌入，在两项数据集上均基于F1-score取得了最佳性能。
引用
@article{arxiv.2304.04472,
title = {Modeling Speaker-Listener Interaction for Backchannel Prediction},
author = {Daniel Ortega and Sarina Meyer and Antje Schweitzer and Ngoc Thang Vu},
journal= {arXiv preprint arXiv:2304.04472},
year = {2023}
}
备注
Published in IWSDS 2023