基于纹理局部描述符的面部分析中自监督学习作为辅助任务的背骨架基准研究
计算机视觉与模式识别
2026-03-24 v1
摘要
本文对不同背骨架进行基准测试，研究其对将纹理基于局部描述符融入特征建模以提高面部分析效率的自监督学习（SSL）辅助任务影响。已知将主要任务与自监督辅助任务组合可实现更稳健、更具辨识力的特征表示学习。我们采用从浅层到深层的不同网络结构作为SSL任务（即遮蔽自动编码器MAE）的背骨架，以重建纹理特征（如局部模式）作为辅助目标，融入局部模式SSAT（L-SSAT），确保面部分析的稳健性和无偏性。为扩充基准，我们在所提框架内进行了详尽的多模型配置比较分析。为此，我们回答了三个研究问题："背骨架在L-SSAT性能中扮演何种角色？"、"哪种类型的背骨架适用于不同面部分析任务？"、"是否存在一种通用背骨架可有效支持L-SSAT进行面部分析？"针对这些问题，我们提供详尽的研究与实验。性能评估显示，针对所提方法的背骨架高度依赖于下游任务，FaceForensics++上平均准确率为0.94，CelebA上为0.87，AffectNet上为0.88。就特征表示质量和泛化能力而言，包括面部属性预测、情感分类和深度伪造检测在内的各种面部分析范式均不存在统一的背骨架。
引用
@article{arxiv.2603.22190,
title = {A Backbone Benchmarking Study on Self-supervised Learning as a Auxiliary Task with Texture-based Local Descriptors for Face Analysis},
author = {Shukesh Reddy and Abhijit Das},
journal= {arXiv preprint arXiv:2603.22190},
year = {2026}
}
备注
Accepted for publication in SN Computer Science