基准点聚焦增强用于面部关键点检测
计算机视觉与模式识别
2024-02-26 v1 机器学习
摘要
深度学习方法显著提升了面部关键点检测（FLD）任务的性能。然而，在头部姿态变化、夸张表情或光照不均等具有挑战性的场景中，由于高变异性和样本不足，关键点检测仍然是一个难题。这种不足可归因于模型无法从输入图像中有效获取适当的面部结构信息。为解决此问题，我们提出了一种专门针对FLD任务的新型图像增强技术，以增强模型对面部结构的理解。为了有效利用新提出的增强技术，我们采用基于孪生架构的训练机制，结合深度典型相关分析（DCCA）损失，从输入图像的两个不同视角实现高层特征表示的联合学习。此外，我们采用基于Transformer+CNN的网络，并搭配自定义沙漏模块作为孪生框架的稳健骨干网络。大量实验表明，我们的方法在多个基准数据集上优于多种最先进的方法。
引用
@article{arxiv.2402.15044,
title = {Fiducial Focus Augmentation for Facial Landmark Detection},
author = {Purbayan Kar and Vishal Chudasama and Naoyuki Onoe and Pankaj Wasnik and Vineeth Balasubramanian},
journal= {arXiv preprint arXiv:2402.15044},
year = {2024}
}
备注
Accepted to BMVC'23