ORFormer：用于精确面部关键点检测的遮挡鲁棒 Transformer

尽管面部关键点检测（FLD）已取得显著进展，但现有的 FLD 方法在处理部分不可见面部（如存在遮挡或处于极端光照条件、极端姿态下的面部）时仍会出现性能下降。为解决这一问题，我们引入了 ORFormer，一种新颖的基于 Transformer 的方法，能够检测不可见区域并从可见部分恢复其缺失特征。具体而言，ORFormer 将每个图像块 token 与一个额外的可学习 token（称为信使 token）相关联。信使 token 聚合除其自身图像块外所有图像块的特征。通过这种方式，可以借助图像块常规嵌入与其信使嵌入之间的相似性来评估该图像块与其他图像块之间的一致性，从而实现不可见区域的识别。随后，我们的方法利用信使 token 聚合的特征恢复被遮挡的图像块。利用恢复的特征，ORFormer 为下游 FLD 任务生成高质量热图。大量实验表明，我们的方法生成的热图对部分遮挡具有鲁棒性。通过将所得热图集成到现有 FLD 方法中，我们的方法在 WFLW 和 COFW 等具有挑战性的数据集上优于现有最优方法。