用于小鼠社会行为表征学习的跨骨架交互图聚合网络
计算机视觉与模式识别
2025-01-09 v2
摘要
小鼠自动化社会行为分析已成为行为神经科学中日益热门的研究领域。近来，姿态信息（即关键点或骨架的位置）已被用于解释小鼠的社会行为。然而，现有方法很少探究对小鼠关键点背后社会交互信息的有效编码与解码。特别地，由于高度可变形的身体形态与模糊的运动模式，对小鼠间复杂社会交互建模颇具挑战。为应对交互建模问题，我们在此提出一种跨骨架交互图聚合网络（CS-IGANet）来学习自由交互小鼠的丰富动态，其中跨骨架节点级交互模块（CS-NLI）用于建模多级交互（即帧内、帧间与跨骨架交互）。此外，我们设计了一种新颖的感知交互 Transformer（IAT），在我们提出的感知交互自注意力机制引导下，动态学习社会行为的图级表征并更新节点级表征。最后，为增强模型的表征能力，提出了一种辅助自监督学习任务以度量跨骨架节点间的相似性。在标准 CRMI13-Skeleton 与我们的 PDMB-Skeleton 数据集上的实验结果表明，我们所提模型优于若干其他最先进方法。
引用
@article{arxiv.2208.03819,
title = {Cross-Skeleton Interaction Graph Aggregation Network for Representation Learning of Mouse Social Behaviour},
author = {Feixiang Zhou and Xinyu Yang and Fang Chen and Long Chen and Zheheng Jiang and Hui Zhu and Reiko Heckel and Haikuan Wang and Minrui Fei and Huiyu Zhou},
journal= {arXiv preprint arXiv:2208.03819},
year = {2025}
}
备注
Accepted to IEEE Transactions on Image Processing