面部动作单元识别中的单帧校准与孪生网络
计算机视觉与模式识别
2024-09-04 v1 人工智能
机器学习
摘要
自动面部动作单元 (AU) 识别广泛用于面部表情分析。大多数现有的 AU 识别系统旨在实现跨参与者的非校准泛化 (NCG)，即无需进一步校准即可应用于未见过的面孔。然而，由于不同个体面部属性的多样性，仅从单张未见面孔的图像准确推断 AU 激活有时是不可行的，即使对人类专家也是如此——首先理解该面孔在中性表情下的外观至关重要，否则可能会引入显著偏差。因此，我们提出在 AU 识别中执行单帧校准 (OFC)：对于每张面孔，使用其单张中性表情图像作为校准的参考图像。利用这一策略，我们开发了一个用于 AU 识别的校准孪生网络 (CSN)，并展示了其与简单 iResNet-50 (IR50) 主干结合时的显著有效性。在 DISFA、DISFA+ 和 UNBC-McMaster 数据集上，我们展示了我们的 OFC CSN-IR50 模型 (a) 通过减轻面部属性偏差（包括由皱纹、眉毛位置、面部毛发等引起的偏差）显著提高了 IR50 的性能，(b) 显著优于基线减法的朴素 OFC 方法，以及 (c) 优于该朴素 OFC 方法的微调版本，并且 (d) 在 AU 强度估计和 AU 检测方面也优于最先进的 NCG 模型。
引用
@article{arxiv.2409.00240,
title = {One-Frame Calibration with Siamese Network in Facial Action Unit Recognition},
author = {Shuangquan Feng and Virginia R. de Sa},
journal= {arXiv preprint arXiv:2409.00240},
year = {2024}
}