基于听者自适应跨域融合的双人印象识别
多媒体
2023-02-17 v4 声音
音频与语音处理
摘要
作为情感计算的一个分支，印象识别（例如对说话者特征如温暖或能力的感知）可能是人人对话和口语对话系统中关键的一部分。大多数研究仅从说话者表达的行为或听者的反应来研究印象，却忽略了它们之间的潜在联系。在本文中，我们使用提出的听者自适应跨域架构进行印象识别，该架构由听者适配函数（用于建模说话者与听者行为之间的因果关系）和跨域融合函数（用于加强它们之间的联系）组成。在双人 IMPRESSION 数据集上的实验评估验证了我们的方法的有效性，在能力和温暖维度上分别产生了 78.8% 和 77.5% 的一致性相关系数，优于以往研究。所提方法有望推广到类似的双人交互场景。
引用
@article{arxiv.2211.05163,
title = {Multimodal Dyadic Impression Recognition via Listener Adaptive Cross-Domain Fusion},
author = {Yuanchao Li and Peter Bell and Catherine Lai},
journal= {arXiv preprint arXiv:2211.05163},
year = {2023}
}
备注
Accepted to ICASSP2023. arXiv admin note: substantial text overlap with arXiv:2203.13932