PicoEyes：面向混合现实的统一凝视估计框架及大规模多视角数据集
计算机视觉与模式识别
2026-05-14 v2
摘要
我们提出 PicoEyes，一个统一的凝视估计框架，直接从单目或双目输入预测凝视的所有关键属性，包括 3D 眼部参数、眼部区域分割、光轴、视轴和深度图。该框架同时解决校准、凝视预测以及不同设备姿态的问题，支持通过联合估计眼部参数和深度图实现 3D 眼部重建。此外，我们引入一个大规模多视角近眼数据集，包含在多样化条件下的全面 2D 和 3D 标注，包括 train、test、rewear-test 和校准 session。广泛的实验表明，PicoEyes 实现了最先进的性能，在无校准、校准、校准后重佩戴和预测等setting下均优于学术和工业凝眼跟踪方法。该工作建立了一个可靠且可泛化的混合现实（MR）应用的端到端范式。
引用
@article{arxiv.2605.07188,
title = {PicoEyes: Unified Gaze Estimation Framework for Mixed Reality with a Large-Scale Multi-View Dataset},
author = {Fuxin Duan and Hui Wang},
journal= {arXiv preprint arXiv:2605.07188},
year = {2026}
}
备注
15 pages, 10 figures, conference