利用自监督辅助任务改进细粒度人脸表征
计算机视觉与模式识别
2025-11-18 v4 人工智能
机器学习
摘要
人脸情绪识别（FER）是一个细粒度问题，迁移学习的价值常被想当然。我们首先量化了这一假设，并表明在 AffectNet 上，采用足够强数据增强的随机初始化训练始终匹配或超越基于 ImageNet 的微调。受此结果启发，我们提出了面向真实场景下面部情绪识别的混合多任务学习（HMTL）。HMTL 在训练时将自监督学习（SSL）目标与监督学习（SL）结合，同时保持推理阶段模型不变。我们以两个定制的 pretext 任务——拼图与带感知损失的修复——来实例化 HMTL，它们鼓励生成部件感知且与表情相关的特征。在 AffectNet 上，两种 HMTL 变体在八类情绪设定下均无需任何额外预训练数据即达到最先进准确率，并在低数据场景下带来更大提升。与常规 SSL 预训练相比，HMTL 取得更强的下游性能。除 FER 外，该策略还改进了细粒度人脸分析任务，包括头部姿态估计与性别识别。这些结果表明，对齐的 SSL 辅助任务是加强监督细粒度人脸表征的有效且简单的方式，且不在推理时增加额外计算开销。
引用
@article{arxiv.2105.06421,
title = {Using Self-Supervised Auxiliary Tasks to Improve Fine-Grained Facial Representation},
author = {Mahdi Pourmirzaei and Gholam Ali Montazer and Farzaneh Esmaili},
journal= {arXiv preprint arXiv:2105.06421},
year = {2025}
}