弱监督关键点发现

在本文中，我们提出一种利用图像级监督从 2D 图像中发现关键点的方法。近期关于无监督关键点发现的工作能可靠地发现对齐实例的关键点。然而，当目标实例具有较大的视角或外观变化时，所发现的关键点在不同图像间无法匹配语义对应。我们的工作旨在利用图像级监督，即使在目标实例具有较大视角和外观变化的情况下也能发现关键点。受弱监督学习方法的启发，我们的方法利用图像级监督来识别判别性部位并推断目标实例的视角。为发现多样的部位，我们采用基于结构形变的成对图像的条件图像生成方法。最后，我们利用来自图像级监督的关键点施加基于视角的等变约束，以解决从各种视角拍摄的图像中持续出现的空间相关问题。我们的方法在有限监督场景下的关键点估计任务中取得了最先进的性能。此外，所发现的关键点可直接应用于下游任务，无需任何关键点标签。