HIINT：基于跨人记忆Transformer的历史、人际与内人际动态建模
计算机视觉与模式识别
2023-05-23 v1 人工智能
机器学习
摘要
准确建模情感动态（即人类对话中情绪与情感表达的变化与波动）对理解人类交互至关重要。通过分析情感动态，我们可以洞察人们如何沟通、应对不同情境并建立关系。然而，由于上下文因素（如人际关系的复杂微妙本质、情境及其他影响情感表达的因素），建模情感动态具有挑战性。为应对该挑战，我们提出跨人记忆Transformer（CPM-T）框架，其能够通过识别言语与非言语线索显式建模情感动态（内人际与人际影响），并利用大语言模型运用预训练知识并执行言语推理。CPM-T框架维护记忆模块以存储并更新对话窗口内的上下文，使模型能捕捉对话前后部分的依赖关系。此外，我们的框架采用跨模态注意力以有效对齐多模态信息，并利用跨人注意力对齐多方交互中的行为。我们在三个公开数据集上评估了方法在联合投入、融洽关系与人类信念预测任务上的有效性与泛化性。值得注意的是，CPM-T框架在平均F1分数上分别超越基线模型达7.3%、9.3%与2.0%。最后，我们通过关于多模态时间行为的消融研究展示了框架中各组件的重要性。
引用
@article{arxiv.2305.12369,
title = {HIINT: Historical, Intra- and Inter- personal Dynamics Modeling with Cross-person Memory Transformer},
author = {Yubin Kim and Dong Won Lee and Paul Pu Liang and Sharifa Algohwinem and Cynthia Breazeal and Hae Won Park},
journal= {arXiv preprint arXiv:2305.12369},
year = {2023}
}