基于配准与三角测量的无监督 landmark 检测监督方法
计算机视觉与模式识别
2021-01-26 v1 图形学
摘要
我们提出配准与三角测量监督（SRT），一种利用无标签多视角视频提升 landmark 检测器准确度与精度的无监督方法。能够利用无标签数据使我们的检测器可从大量自由获取的无标签数据中学习，而不受人工标注质量与数量的限制。为利用无标签数据，有两点关键观察：（1）相邻帧中同一 landmark 的检测应随配准（即光流）保持一致；（2）多个同步且几何标定视角中同一 landmark 的检测应对应于单一 3D 点，即多视角一致性。配准与多视角一致性是不需人工标注的监督来源，因此可在检测器训练时用于扩充现有训练数据。可微分配准与 3D 三角测量模块使端到端训练成为可能。基于 11 个数据集与一种新提出的精度度量指标的试验，证明了在图像与视频上 landmark 检测准确度与精度的提升。代码见 https://github.com/D-X-Y/landmark-detection。
引用
@article{arxiv.2101.09866,
title = {Supervision by Registration and Triangulation for Landmark Detection},
author = {Xuanyi Dong and Yi Yang and Shih-En Wei and Xinshuo Weng and Yaser Sheikh and Shoou-I Yu},
journal= {arXiv preprint arXiv:2101.09866},
year = {2021}
}
备注
Accepted to IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI) 2020