MSGL-Transformer：用于啮齿动物社交行为识别的多尺度全局-局部 Transformer
计算机视觉与模式识别
2026-04-10 v1
摘要
识别啮齿动物行为对于理解神经和行为机制至关重要。传统的手动计分耗时且容易出错。我们提出了 MSGL-Transformer，一种用于从基于姿态的时序序列中识别啮齿动物社交行为的多尺度全局-局部 Transformer。该模型采用轻量级 Transformer 编码器，结合多尺度注意力来捕捉不同时间尺度上的运动动力学。该体系结构集成了平行的短程、中程和全局注意力分支，以显式捕获行为在多个时间尺度上的动力学。我们还引入了基于 SE-Network 的行为感知调制（BAM）块，用于在注意力之前调制时序嵌入，以突出行为相关特征。我们在两个数据集上进行评估：RatSI（5 类行为，12D 姿态输入）和 CalMS21（4 类行为，28D 姿态输入）。在 RatSI 上，MSGL-Transformer 实现了在九个交叉验证 split 上的平均准确率为 75.4% 和 F1 分数为 0.745，优于 TCN、LSTM 和 Bi-LSTM。在 CalMS21 上，它实现了 87.1% 的准确率和 F1 分数为 0.8745，相较于 HSTWFormer 提升了 10.7%，并优于 ST-GCN、MS-G3D、CTR-GCN 和 STGAT。该相同体系结构仅通过调整输入维度和类别数即可跨两个数据集进行泛化。
引用
@article{arxiv.2604.07578,
title = {MSGL-Transformer: A Multi-Scale Global-Local Transformer for Rodent Social Behavior Recognition},
author = {Muhammad Imran Sharif and Doina Caragea},
journal= {arXiv preprint arXiv:2604.07578},
year = {2026}
}
备注
25 pages, 10 figures, submitted to Scientific Reports