迈向自监督凝视估计
计算机视觉与模式识别
2022-11-28 v2
摘要
近期基于联合嵌入的自监督方法已在图像分类等多种图像识别任务上超越标准监督方法。这些自监督方法旨在最大化从同一图像的两个不同变换视图中提取的特征之间的一致性，从而学习到关于外观和几何图像变换的不变表示。然而，这些方法的有效性在凝视估计这一要求几何变换（如旋转、水平翻转）下等变性的结构化回归任务中仍不明确。本文中，我们提出SwAT，一种基于在线聚类的自监督方法SwAV的等变版本，以学习更具信息量的凝视估计表示。我们证明，SwAT使用ResNet-50并辅以未筛选的无标签人脸图像，在多项实验中优于最先进的凝视估计方法与监督基线。特别地，在现有基准（ETH-XGaze、Gaze360与MPIIFaceGaze）的跨数据集与数据集内评估任务中，我们分别实现了高达57%与25%的提升。
引用
@article{arxiv.2203.10974,
title = {Towards Self-Supervised Gaze Estimation},
author = {Arya Farkhondeh and Cristina Palmero and Simone Scardapane and Sergio Escalera},
journal= {arXiv preprint arXiv:2203.10974},
year = {2022}
}
备注
BMVC 2022. For code and pre-trained models, visit https://github.com/aryafarkhondeh/SwAT