面向基于表观的凝视估计的超分辨率研究
计算机视觉与模式识别
2023-03-20 v1
摘要
凝视跟踪是一种有价值的工具，在医学、心理学、虚拟现实、营销与安全等众多领域具有广泛应用。因此，拥有高性价比且高性能的凝视跟踪软件至关重要。准确预测凝视仍是一项困难任务，尤其在受运动模糊、视频压缩与噪声影响的真实世界图像中。超分辨率已被证明能从视觉角度提升图像质量。本工作考察了超分辨率对于改进基于表观的凝视跟踪的效用。我们表明并非所有 SR 模型都能保持凝视方向。我们提出了一种基于 SwinIR 超分辨率模型的两步框架。所提方法持续优于 SOTA，尤其在涉及低分辨率或退化图像的场景中。此外，我们通过自监督学习视角审视超分辨率在凝视预测中的使用。自监督学习旨在从无标签数据中学习，以减少下游任务所需标签数据量。我们提出了一种称为 SuperVision 的新颖架构，将 SR 骨干网络融合至 ResNet18（含若干跳跃连接）。所提 SuperVision 方法仅使用 1/5 的标签数据，却比使用 100% 训练数据的 SOTA 方法 GazeTR 高出 15%。
引用
@article{arxiv.2303.10151,
title = {Toward Super-Resolution for Appearance-Based Gaze Estimation},
author = {Galen O'Shea and Majid Komeili},
journal= {arXiv preprint arXiv:2303.10151},
year = {2023}
}