EyeNet：一种用于离轴视线估计与用户理解的多任务网络
计算机视觉与模式识别
2019-08-27 v1 机器学习
图像与视频处理
摘要
通过眼图进行视线估计与同步语义理解用户，是虚拟现实与混合现实中的关键组件；其赋能节能渲染、多焦显示与对 3D 内容的有效交互。在头戴式 VR/MR 设备中，眼睛以离轴方式成像以避免遮挡用户视线，该视角使得推导眼相关推断极具挑战。本工作中，我们提出 EyeNet，首个单一深度神经网络，可解决离轴相机设置下与视线估计及语义用户理解相关的多个异构任务。这些任务包括眼睛分割、眨眼检测、情绪表情分类、IR LED 光斑检测、瞳孔与角膜中心估计。为端到端训练 EyeNet，我们同时采用手工标注监督与基于模型的监督。我们在 MagicEyes 上对所有任务进行基准测试——该大规模新数据集包含 587 名形态、性别、肤色、妆容与成像条件各异的受试者。
引用
@article{arxiv.1908.09060,
title = {EyeNet: A Multi-Task Network for Off-Axis Eye Gaze Estimation and User Understanding},
author = {Zhengyang Wu and Srivignesh Rajendran and Tarrence van As and Joelle Zimmermann and Vijay Badrinarayanan and Andrew Rabinovich},
journal= {arXiv preprint arXiv:1908.09060},
year = {2019}
}