面向实验动物姿态估计的形变感知无配对图像翻译
计算机视觉与模式识别
2020-01-24 v1
摘要
我们的目标是在不使用任何人工监督的情况下捕获神经科学模式生物的姿态，以研究神经环路如何协调行为。人体姿态估计在由数百万帧组成的真实或模拟数据集上训练时可达到惊人精度。然而，对于许多应用，模拟模型不真实，且带有全面标注的真实训练数据集并不存在。我们用一种新的sim2real域迁移方法解决此问题。我们的关键贡献是在无配对图像翻译框架中对外观、形状和姿态进行显式且独立的建模。我们的模型通过将源域中现成的身体关键点位置迁移到生成的目标图像，从而在目标域上训练姿态估计器。我们将方法与现有域迁移方法比较，并在黑腹果蝇（果蝇）、秀丽隐杆线虫（蠕虫）和斑马鱼上展示了改进的姿态估计精度，无需在目标域上做任何人工标注，且尽管仅使用现成的简单动物角色进行模拟或简单几何形状作为模型。我们将发布新数据集、代码和训练好的模型以支持未来神经科学研究。
引用
@article{arxiv.2001.08601,
title = {Deformation-aware Unpaired Image Translation for Pose Estimation on Laboratory Animals},
author = {Siyuan Li and Semih Günel and Mirela Ostrek and Pavan Ramdya and Pascal Fua and Helge Rhodin},
journal= {arXiv preprint arXiv:2001.08601},
year = {2020}
}