用于人脸识别的关键点相对位置编码
计算机视觉与模式识别
2024-03-25 v1
摘要
本文探讨如何使 ViT 模型对未见仿射变换更具鲁棒性的挑战。当图像对齐失败时，这种鲁棒性在人脸识别等各种识别任务中非常有用。我们提出了一种名为 KP-RPE 的新方法，该方法利用关键点（例如面部特征点）使 ViT 对尺度、平移和姿态变化具有更强的适应力。我们首先观察到，相对位置编码 (RPE) 是为 ViT 引入仿射变换泛化能力的好方法。然而，RPE 只能为模型注入近距离像素比远距离像素更重要的先验知识。关键点相对位置编码 (KP-RPE) 是该原理的扩展，其中像素的重要性不仅由其邻近程度决定，还由其与图像内特定关键点的相对位置决定。通过将像素的重要性锚定在关键点周围，即使空间关系被仿射变换破坏，模型也能更有效地保留这些关系。我们展示了 KP-RPE 在人脸和步态识别中的优势。实验结果证明了其在提升低质量图像人脸识别性能方面的有效性，特别是在容易发生对齐失败的情况下。代码和预训练模型已公开提供。
引用
@article{arxiv.2403.14852,
title = {KeyPoint Relative Position Encoding for Face Recognition},
author = {Minchul Kim and Yiyang Su and Feng Liu and Anil Jain and Xiaoming Liu},
journal= {arXiv preprint arXiv:2403.14852},
year = {2024}
}
备注
To appear in CVPR2024