RatBodyFormer：从关键点重建大鼠躯干表面

分析大鼠行为是许多科学研究的核心。过去的方法用于自动化啮鼠建模主要聚焦于从关键点（例如面部和附肢）进行 3D 姿态估计。然而，姿态本身并未捕获编码细微大鼠行为（如蜷缩和拉伸）的丰富躯干表面运动。躯干表面缺乏可视化定义的特征，逃避了这些已建立的基于关键点的方法。本文提出了首个从稀疏关键点预测稠密点云以重建大鼠躯干表面的方法。我们的框架由两个关键组成部分构成。第一个是 RatDome——一种新型的大鼠行为捕获系统，以及一个由该系统捕获的大规模数据集，包含 3D 关键点与 3D 躯干表面点的配对。第二个是 RatBodyFormer——一种将检测到的关键点转换为 3D 躯干表面点的新型网络。RatBodyFormer 对训练数据中 3D 躯干表面点的确切位置不敏感，并采用掩码学习进行训练。我们通过多个真实世界实验对该框架进行了实验验证。我们的结果整体上为自动化大鼠行为分析提供了新的基础。