基于对比局部扭曲的无监督面部表情表示学习
计算机视觉与模式识别
2023-03-17 v1
摘要
本文研究用于面部表情分析的无监督表示学习。我们认为无监督面部表情表示（UFER）值得探索，并有望解决面部表情分析中的一些关键挑战，如规模化、标注偏差、离散标签与连续情感之间的差异，以及模型预训练。受此驱动，我们提出了一种带对比局部扭曲（ContraWarping）的 UFER 方法，其利用的洞见是：情绪表情对当前的全局变换（仿射变换、颜色抖动等）具有鲁棒性，但易被随机局部扭曲改变。因此，给定一张人脸图像，ContraWarping 采用一些全局变换和局部扭曲来生成其正样本与负样本，并建立一个新颖的对比学习框架。我们的深入研究表明：1）来自全局变换的正样本对可利用通用自监督学习（如 BYOL）加以利用，并已带来一些信息性特征；2）来自局部扭曲的负样本对显式引入表情相关变化并进一步带来显著改进。基于 ContraWarping，我们在两种面部表情分析场景下展示了 UFER 的益处：面部表情识别与图像检索。例如，直接使用 ContraWarping 特征进行线性探测在 RAF-DB 上达到 79.14% 的准确率，显著缩小了与全监督对应方法（有/无预训练分别为 88.92% / 84.81%）的差距。
引用
@article{arxiv.2303.09034,
title = {Unsupervised Facial Expression Representation Learning with Contrastive Local Warping},
author = {Fanglei Xue and Yifan Sun and Yi Yang},
journal= {arXiv preprint arXiv:2303.09034},
year = {2023}
}
备注
Code will be released at: https://github.com/youqingxiaozhua/ContraWarping