具有主体特定条件的无监督凝视感知对比学习
计算机视觉与模式识别
2023-09-12 v1
摘要
基于表观的凝视估计通过使用单一通用摄像头作为输入设备，在许多应用中展现出巨大前景。然而，其成功高度依赖于大规模精标注凝视数据集的可用性，而这类数据稀疏且采集昂贵。为缓解此挑战，我们提出 ConGaze，一种基于对比学习的框架，利用无标签人脸图像以无监督方式跨主体学习通用凝视感知表征。具体而言，我们引入凝视特定的数据增强以保留凝视语义特征并保持凝视一致性，这被证明对有效的对比凝视表征学习至关重要。此外，我们设计了一种新颖的主体条件投影模块，促使共享特征提取器学习凝视感知的通用表征。我们在三个公开凝视估计数据集上的实验表明，ConGaze 优于现有无监督学习方案 6.7% 至 22.5%；并且在跨数据集评估中比其基于监督学习的对应方案提升 15.1% 至 24.6%。
引用
@article{arxiv.2309.04506,
title = {Unsupervised Gaze-aware Contrastive Learning with Subject-specific Condition},
author = {Lingyu Du and Xucong Zhang and Guohao Lan},
journal= {arXiv preprint arXiv:2309.04506},
year = {2023}
}