基于深度图模型的多视角小鼠社会行为识别
计算机视觉与模式识别
2021-07-07 v2
摘要
小鼠笼养社会行为分析是评估神经退行性疾病治疗效果的宝贵工具。尽管研究界已付出巨大努力,此类分析主要仍使用单摄像头视频记录。由于多视角视频记录能够创建小鼠社会行为的丰富描述,其在啮齿动物观测中的使用正日益受到关注。然而,由于数据源间缺乏对应关系,从各视角识别社会行为仍具挑战性。为解决该问题,我们在此提出一种新颖的多视角潜注意力与动态判别模型,联合学习视角特定与视角共享子结构,前者捕捉各视角的独特动态,后者编码视角间交互。此外,我们引入了一种新颖的多视角潜注意力变分自编码器模型来学习所获取的特征,使我们能够学习各视角中的判别性特征。在标准 CRMI13 与我们自己的多视角帕金森病小鼠行为(PDMB)数据集上的实验结果表明,我们的模型优于其他 SOTA 技术,并有效处理了数据不平衡问题。
引用
@article{arxiv.2011.02451,
title = {Muti-view Mouse Social Behaviour Recognition with Deep Graphical Model},
author = {Zheheng Jiang and Feixiang Zhou and Aite Zhao and Xin Li and Ling Li and Dacheng Tao and Xuelong Li and Huiyu Zhou},
journal= {arXiv preprint arXiv:2011.02451},
year = {2021}
}
备注
17 pages, 11 figures