Multipar-T：用于捕捉群体对话中呼应行为的多方Transformer
计算机视觉与模式识别
2023-04-25 v1 人工智能
机器学习
摘要
随着我们日益接近真实世界的AI系统，AI智能体必须能够处理多方（群体）对话。识别和解释多方行为具有挑战性，因为系统必须识别个体的行为线索，处理来自多人的多路数据流带来的复杂性，并识别群体成员之间发生的微妙呼应性社会交流。为应对这一挑战，我们提出了Multiparty-Transformer（Multipar-T），一种用于多方行为建模的Transformer模型。我们提出方法的核心组件是跨人注意力（Crossperson Attention），其专门设计用于检测两人之间的呼应行为。我们在一个公开可用的基于视频的群体参与度检测基准上验证了Multipar-T的有效性，其在平均F-1分数上优于最先进（SOTA）方法5.2%，在单个类别F-1分数上最高优于10.0%。通过定性分析，我们表明我们的跨人注意力模块能够发现呼应行为。
引用
@article{arxiv.2304.12204,
title = {Multipar-T: Multiparty-Transformer for Capturing Contingent Behaviors in Group Conversations},
author = {Dong Won Lee and Yubin Kim and Rosalind Picard and Cynthia Breazeal and Hae Won Park},
journal= {arXiv preprint arXiv:2304.12204},
year = {2023}
}
备注
7 pages, 4 figures, IJCAI