基于深度学习的用户自定义特征无标记跟踪
计算机视觉与模式识别
2018-08-24 v1 神经元与认知
定量方法
机器学习
摘要
量化行为对神经科学的许多应用至关重要。摄像技术为在多样环境中观察和记录动物行为提供了简便方法，然而提取行为的特定方面以进行进一步分析可能极为耗时。在运动控制研究中，人类或其他动物常被贴上反光标记以辅助基于计算机的跟踪，但标记具有侵入性（尤其对较小动物），且标记的数量与位置必须事先确定。在此，我们提出一种基于深度神经网络迁移学习的高效无标记跟踪方法，其以极少的训练数据取得优异结果。我们通过在一组广泛的实验设置中跟踪不同身体部位来展示该框架的通用性：小鼠气味轨迹追踪、果蝇产卵行为，以及小鼠在熟练前肢任务中的手部关节活动。例如，在熟练抓取行为中，可自动跟踪各个关节（并给出置信度分数）。值得注意的是，即便仅标注少量帧（约 200），该算法在测试帧上仍取得可与人类精度媲美的优异跟踪性能。
引用
@article{arxiv.1804.03142,
title = {Markerless tracking of user-defined features with deep learning},
author = {Alexander Mathis and Pranav Mamidanna and Taiga Abe and Kevin M. Cury and Venkatesh N. Murthy and Mackenzie W. Mathis and Matthias Bethge},
journal= {arXiv preprint arXiv:1804.03142},
year = {2018}
}
备注
Videos at http://www.mousemotorlab.org/deeplabcut