关注你所属的对象：用于关键点检测与实例感知关联的自注意力监督

本文提出了一种使用 Transformer 解决关键点检测和实例关联的新方法。对于自底向上的多人姿态估计模型，它们需要检测关键点并学习关键点之间的关联信息。我们认为这些问题完全可以由 Transformer 解决。具体而言，Transformer 中的自注意力机制衡量任意一对位置之间的依赖关系，可以为关键点分组提供关联信息。然而，朴素的注意力模式仍未受到主观控制，因此无法保证关键点始终关注其所属的实例。为了解决这个问题，我们提出了一种用于多人关键点检测和实例关联的自注意力监督新方法。通过使用实例掩码监督自注意力使其具备实例感知能力，我们可以基于成对注意力分数将检测到的关键点分配给其对应的实例，而无需像基于 CNN 的自底向上模型那样使用预定义的偏移向量场或嵌入。我们方法的另一个好处是，可以直接从受监督的注意力矩阵中获得任意人数的实例分割结果，从而简化了像素分配流程。在 COCO 多人关键点检测挑战赛和人物实例分割任务上的实验证明了所提方法的有效性和简单性，并展示了一种出于特定目的控制自注意力行为的有前景的途径。