用于基于多视图外观的视线估计的旋转约束跨视图特征融合
计算机视觉与模式识别
2023-11-16 v3
摘要
基于外观的视线估计近年来得到积极研究。然而，现有方法对未见头部姿态的泛化性能仍是一项显著局限。本工作提出了一种可泛化的多视图视线估计任务及一种跨视图特征融合方法以解决该问题。除成对图像外，我们的方法将两台相机间的相对旋转矩阵作为额外输入。所提网络通过学习以相对旋转为约束提取可旋转特征表示，并经由堆叠融合模块自适应融合可旋转特征。这一简洁而高效的方法在未见头部姿态下显著提升了泛化性能，且未显著增加计算成本。该模型可使用相机的随机组合进行训练而无需固定位姿，并能在推理时泛化至未见相机对。通过多个数据集的实验，我们展示了所提方法相对于基线方法（包括最先进的域泛化方法）的优势。代码将发布于 https://github.com/ut-vision/Rot-MVGaze。
引用
@article{arxiv.2305.12704,
title = {Rotation-Constrained Cross-View Feature Fusion for Multi-View Appearance-based Gaze Estimation},
author = {Yoichiro Hisadome and Tianyi Wu and Jiawei Qin and Yusuke Sugano},
journal= {arXiv preprint arXiv:2305.12704},
year = {2023}
}
备注
Accepted by WACV2024. The code will be available at https://github.com/ut-vision/Rot-MVGaze