基于 Transformer 的测试时个性化人体姿态估计

我们提出在无需任何手动标注的情况下，给定一个人的一组测试图像来个性化人体姿态估计器。尽管人体姿态估计已取得显著进展，但模型泛化至不同未知环境与未见人物仍极具挑战。我们不为每个测试案例使用固定模型，而是在测试时调整姿态估计器以利用人物特定信息。我们首先在多样数据上以有监督与自监督姿态估计目标联合训练模型。我们使用 Transformer 模型构建自监督关键点与有监督关键点间的变换。在测试时，我们通过自监督目标微调来实现个性化与自适应。随后通过变换更新后的自监督关键点来改进姿态。我们在多个数据集上实验，并展示自监督个性化在姿态估计上的显著提升。