扩展组合注意力网络用于视频中的社交推理
计算机视觉与模式识别
2022-10-05 v1 人工智能
计算与语言
机器学习
摘要
我们提出了一种用于视频中社交交互推理任务的新颖深度架构。我们利用组合注意力网络（MAC）的多步推理能力，并提出一种多模态扩展（MAC-X）。MAC-X 基于一个循环单元，该单元通过时间注意力机制在多个推理步骤上对输入模态（视觉、听觉、文本）执行迭代的中层融合。随后我们将 MAC-X 与用于处理时序输入的 LSTM 结合在一个端到端架构中。我们的消融研究表明，所提出的 MAC-X 架构能够有效利用中层融合机制来 leveraged 多模态输入线索。我们将 MAC-X 应用于 Social IQ 数据集上的社交视频问答任务，并在二分类准确率上相对当前最先进（SOTA）方法取得了 2.5% 的绝对提升。
引用
@article{arxiv.2210.01191,
title = {Extending Compositional Attention Networks for Social Reasoning in Videos},
author = {Christina Sartzetaki and Georgios Paraskevopoulos and Alexandros Potamianos},
journal= {arXiv preprint arXiv:2210.01191},
year = {2022}
}