用于面部分析中基于纹理和模型的混合鲁棒公平特征的自监督辅助学习
计算机视觉与模式识别
2024-11-06 v2
摘要
在这项工作中，我们探索了将自监督学习（Self-supervised Learning, SSL）作为辅助任务，将基于纹理的局部描述符融入特征建模，以实现高效的面部分析。将主任务与自监督辅助任务相结合有利于获得鲁棒的表征。因此，我们使用掩码自编码器（MAE）的SSL任务作为辅助任务，与主任务一起重建纹理特征（如局部模式），以实现鲁棒且无偏的面部分析。我们在面部属性分析、基于面部的情绪分析以及深度伪造检测这三个面部分析的主要范式上验证了我们的假设。实验结果表明，我们提出的模型能够提取出更好的特征表示，从而实现公平且偏差较小的面部分析。
引用
@article{arxiv.2409.19582,
title = {Self-supervised Auxiliary Learning for Texture and Model-based Hybrid Robust and Fair Featuring in Face Analysis},
author = {Shukesh Reddy and Nishit Poddar and Srijan Das and Abhijit Das},
journal= {arXiv preprint arXiv:2409.19582},
year = {2024}
}