针对任务无关统一人脸对齐的多数据集知识差异缓解

尽管人脸在结构上较为相似，现有人脸对齐方法仍无法从多个带有不同标注的地面数据集中学习统一知识。单个数据集中样本有限，常导致模型鲁棒性差。为缓解不同数据集间的知识差异并训练任务无关统一人脸对齐（TUFA）框架，本文提出一种统一多个数据集知识的策略。具体而言，我们计算每个数据集的平均面部形状。为在基于语义的可解释平面上显式对齐这些平均形状，每个形状随后被融合一组语义对齐嵌入。这些对齐形状的二维坐标可作为该平面的锚点。通过将其编码为结构提示，并进一步利用图像特征回归对应的面部关键点，最终在该平面与目标人脸之间建立映射，从而统一不同数据集的学习目标。因此，多个数据集可用于提升模型的泛化能力。知识差异的成功缓解也显著提升了将知识迁移到新数据集的效率，显著提升了少样本人脸对齐性能。此外，该可解释平面赋予 TUFA 任务无关特性，使其能够以零样本方式定位训练期未见的关键点。我们在七个基准数据集上进行大量实验，结果表明知识差异缓解显著提升了人脸对齐性能。代码已公开于 https://github.com/Jiahao-UTS/TUFA。