面向凝视估计的无监督表示学习

尽管自动凝视估计对大量应用领域十分重要，但训练准确且鲁棒的凝视模型十分困难，很大程度上源于收集和标注大规模多样化数据的难度（标注三维凝视成本高昂，且现有数据集采用不同设置）。为解决该问题，本文的主要贡献是提出一种无需凝视标注即可学习低维凝视表示的有效方法，据我们所知，这是首个此类工作。其主要思想是借助凝视重定向网络，并将输入图像与目标图像（重定向网络的）的凝视表示差异作为重定向变量。图像域中的重定向损失使得重定向网络与凝视表示网络能够联合训练。此外，我们提出一种扭曲场正则化，不仅赋予凝视表示明确的物理意义，也避免了重定向畸变。在少样本凝视估计（少至 ≤100 个校准样本即可取得有竞争力的结果）、跨数据集凝视估计、凝视网络预训练以及另一任务（头部姿态估计）上的良好结果，证明了我们框架的有效性。