MouseGPT：用于小鼠行为分析的大规模视觉-语言模型
计算机视觉与模式识别
2025-03-28 v2
摘要
分析动物行为对于推动神经科学至关重要，但对其复杂动态的定量化与解读仍是一个重大挑战。传统机器视觉方法虽然能够检测自发行为，但由于解释力有限且依赖手动标注，限制了对完整行为光谱的探索。本文我们引入 MouseGPT，一种视觉-语言模型（VLM），将视觉线索与自然语言相结合，以革命性地实现小鼠行为分析。基于我们首创的大型数据集——涵盖超过 4200 万帧的姿态动力学和开放词汇行为注释（涉及多种精神疾病模型），MouseGPT 提供了一种新颖、充满语境的综合方法进行行为解释。我们的整体分析框架使我们能够进行详细的行为轮廓、聚类和新行为发现，无需耗时的手动标注即可深入洞察。评估结果表明，MouseGPT 在精度、适应性和描述丰富性方面均优于现有模型，作为伦理学和解构复杂动物行为动态的工具而具有变革性。
引用
@article{arxiv.2503.10212,
title = {MouseGPT: A Large-scale Vision-Language Model for Mouse Behavior Analysis},
author = {Teng Xu and Taotao Zhou and Youjia Wang and Peng Yang and Simin Tang and Kuixiang Shao and Zifeng Tang and Yifei Liu and Xinyuan Chen and Hongshuang Wang and Xiaohui Wang and Huoqing Luo and Jingya Wang and Ji Hu and Jingyi Yu},
journal= {arXiv preprint arXiv:2503.10212},
year = {2025}
}
备注
53 pages, 5 figures, 7 extended figures