AsyReC：用于时空非对称二元关系分类的多模态基于图的框架
计算机视觉与模式识别
2025-04-08 v1 多媒体
摘要
二元社会关系是指两个通过反复互动（或无互动）而相互认识的个体之间的关系，这种关系是由共同的空间和时间经历塑造的。当前用于建模这些关系的计算方法面临三大挑战：(1) 未能对非对称关系进行建模，例如，一方可能将另一方视为朋友，而另一方却将其视为熟人；(2) 离散帧采样对连续交互的破坏，这割裂了真实场景中交互的时间连续性；(3) 未考虑周期性行为线索，如有节奏的发声或重复的手势，而这些对于推断二元关系的演变至关重要。为了应对这些挑战，我们提出了 AsyReC，一个用于非对称二元关系分类的多模态基于图的框架，具有三项核心创新： 带有节点-边双重注意力的三元组图神经网络，能够动态加权多模态线索以捕获交互的非对称性（应对挑战 1）； 保持时间连续性的片段级关系学习架构，能够对真实世界交互动态进行细粒度建模（应对挑战 2）； 周期性时间编码器，将时间索引投影到正弦/余弦波形上以建模循环行为模式（应对挑战 3）。在两个公开数据集上的大量实验证明了 SOTA 性能，同时消融实验验证了非对称交互建模和周期性时间编码在提升真实世界场景下二元关系分类鲁棒性方面的关键作用。我们的代码已公开于：https://github.com/tw-repository/AsyReC。
引用
@article{arxiv.2504.05030,
title = {AsyReC: A Multimodal Graph-based Framework for Spatio-Temporal Asymmetric Dyadic Relationship Classification},
author = {Wang Tang and Fethiye Irmak Dogan and Linbo Qing and Hatice Gunes},
journal= {arXiv preprint arXiv:2504.05030},
year = {2025}
}