用于行为分析的 SuperAnimal 预训练姿态估计模型

行为量化在从神经科学、兽医医学到动物保护工作的应用中都至关重要。行为分析的一个常见关键步骤是首先提取动物上的相关关键点,称为姿态估计。然而,目前可靠地推断姿态需要领域知识和手动标注工作来构建监督模型。我们提出了一系列技术创新,实现了一种称为 SuperAnimal 的新方法,以开发可用于超过 45 个物种的统一基础模型,且无需额外人工标注。具体而言,我们引入了一种方法,以统一不同标注数据集上的关键点空间(通过我们的通用数据转换器),并以一种在给定不平衡输入时不会灾难性遗忘关键点的方法训练这些多样化数据集(通过我们的关键点梯度掩码和记忆回放方法)。这些模型在六个姿态基准上展现出优异性能。然后,为确保终端用户的最大可用性,我们展示了如何在不同标注数据上微调模型,并提供了无监督视频自适应工具以提升性能并减少帧间抖动。如果模型被微调,我们展示 SuperAnimal 模型比先前的基于迁移学习的方法数据效率高 10-100$\times$。我们展示了我们的模型在小鼠行为分类和马步态分析中的效用。总体而言,这提出了一种数据高效的动物姿态估计解决方案。