基于域提示与并行注意力的可泛化对话参与度估计
计算机视觉与模式识别
2025-08-21 v1
摘要
准确的参与度估计对于自适应人机交互系统至关重要，然而，跨不同领域的泛化能力差以及建模复杂交互动态的挑战阻碍了其鲁棒部署。为了解决这些问题，我们提出了 DAPA（域自适应并行注意力），一个用于可泛化对话参与度建模的新型框架。DAPA 引入了一种域提示机制，通过在输入前添加可学习的域特定向量，显式地使模型以数据来源为条件，以促进域感知自适应，同时保留可泛化的参与度表示。为了捕捉交互同步性，该框架还整合了一个并行交叉注意力模块，该模块显式地对齐参与者之间的反应性（前向 BiLSTM）和预期性（后向 BiLSTM）状态。大量实验表明，DAPA 在多个跨文化和跨语言基准测试中建立了新的最先进性能，特别是在 NoXi-J 测试集上，其一致性相关系数（CCC）比强基线绝对提高了 0.45。我们的方法优越性还通过在 MultiMediate'25 的多域参与度估计挑战赛中获得第一名而得到证实。
引用
@article{arxiv.2508.14448,
title = {Generalizable Engagement Estimation in Conversation via Domain Prompting and Parallel Attention},
author = {Yangche Yu and Yin Chen and Jia Li and Peng Jia and Yu Zhang and Li Dai and Zhenzhen Hu and Meng Wang and Richang Hong},
journal= {arXiv preprint arXiv:2508.14448},
year = {2025}
}
备注
1st Place in the Engagement Estimation Task held by MultiMediate 25