MONET：基于对极散度的多视角半监督关键点检测
计算机视觉与模式识别
2019-08-20 v2
摘要
本文提出 MONET——一种利用多视角图像流进行关键点检测器端到端半监督学习的框架。特别地，我们考虑非人类物种等难以获取大规模标注数据集的通用主体。虽然多视角几何可用于对无标注数据进行自监督，但由于表示不匹配，将该几何整合进关键点检测器的学习具有挑战性。我们通过表述一种称为对极散度（epipolar divergence）的对极约束的新可微表示来解决此不匹配——它是从对极线到对应关键点分布的广义距离。对极散度刻画了两个视角关键点分布何时产生零重投影误差。我们设计了一个通过立体校正最小化对极散度的孪生网络，可显著缓解训练中的计算复杂度和采样混叠。我们展示了我们的框架能够定位多种物种的自定义关键点，例如人、狗和猴子。
引用
@article{arxiv.1806.00104,
title = {MONET: Multiview Semi-supervised Keypoint Detection via Epipolar Divergence},
author = {Yuan Yao and Yasamin Jafarian and Hyun Soo Park},
journal= {arXiv preprint arXiv:1806.00104},
year = {2019}
}