利用无标签多视角图像的半监督稠密关键点检测

本文提出一种新的端到端半监督框架，利用无标签多视角图像学习稠密关键点检测器。一个关键挑战在于寻找多视角中稠密关键点之间的精确对应关系，因为关键点映射的逆既无法解析导出也无法求导。这限制了现有用于学习稀疏关键点、依赖精确对应关系的多视角监督方法的应用。为应对该挑战，我们推导了一个新的概率极线约束，其编码了两个期望性质。(1) 软对应：我们定义匹配度（matchability），衡量一个点与另一图像中对应点匹配的可能性，从而放宽对精确对应关系的要求。(2) 几何一致性：连续对应场中的每个点必须集体满足多视角一致性。我们利用通过匹配度加权的极线误差加权平均来表述概率极线约束，从而将点对点几何误差推广到场对场几何误差。这一推广通过利用大量无标签多视角图像，促进了几何一致的稠密关键点检测模型的学习。此外，为防止退化情况，我们采用基于蒸馏的正则化，使用预训练模型。最后，我们设计了一种由孪生网络组成的新神经网络架构，通过构建亲和矩阵，有效最小化两视角图像间所有可能对应关系的概率极线误差。我们的方法在关键点精度、多视角一致性和三维重建精度方面，相较于包括不可微自举在内的现有方法均展现出更优性能。