基于三维表示学习的自监督次级关键点检测
计算机视觉与模式识别
2021-10-04 v1
摘要
近期的技术发展极大地推动了在计算机中追踪运动动物（包括人类）关节及其他关键点的进展。此类追踪有望在生物学与生物医学领域带来重要突破。现代追踪模型关键依赖于非专家人工标注的初级关键点数据集，然而对于次级关键点（即反映动物细粒度几何特征、且常针对定制化行为任务的点），此类标注方法成本高昂且不切实际。由于视觉与几何上的模糊性，非专家通常不具备标注次级关键点的资格，因为这需要解剖学与动物学知识。这些障碍严重阻碍了下游行为研究，因为所学追踪模型的泛化能力有限。我们假设初级与次级关键点之间存在共享表示，因为次级关键点的运动范围可由初级关键点的运动范围近似张成。我们提出一种方法，在三维空间中学习初级与次级关键点的空间关系，进而可自监督地训练次级关键点检测器。该三维表示学习具有通用性，因此可应用于跨多种生物（包括猕猴、果蝇和人类）的不同多视角设置。
引用
@article{arxiv.2110.00543,
title = {Self-supervised Secondary Landmark Detection via 3D Representation Learning},
author = {Praneet C. Bala and Jan Zimmermann and Hyun Soo Park and Benjamin Y. Hayden},
journal= {arXiv preprint arXiv:2110.00543},
year = {2021}
}