基于不确定性的 AR/VR 眼部分割框架 EyeSeg
计算机视觉与模式识别
2025-07-15 v1
摘要
通过增强现实(AR)和虚拟现实(VR)的人机交互日益普及，准确且高效的注视估计成为关键挑战，这取决于眼部分割的准确性，以实现顺畅的用户体验。我们引入 EyeSeg，一种 novel 眼部分割框架，旨在克服现有方法在运动模糊、 eyelid 遮挡和 train-test domain 差距等关键挑战下的困难。在这些情况下，现有模型难以提取鲁棒特征，导致次优性能。我们注意到这些挑战可一般通过不确定性来量化，因此我们将 EyeSeg 设计为 AR/VR 环境下的基于不确定性的眼部分割框架，其中我们通过在闭合集先验下对后验进行贝叶斯不确定性学习来显式建模不确定性。理论上，我们证明了所学后验的统计量指示分割不确定性水平，经验上在下游任务(如注视估计)中显著优于现有方法。EyeSeg 输出不确定性得分和分割结果，对多个注视估计进行加权和融合，以实现鲁棒性，尤其在运动模糊、 eyelid 遮挡和跨域挑战下效果显著。此外，实证结果表明，EyeSeg 在 MIoU、E1、F1 和 ACC 等指标上超越了先前方法。代码已公开于 https://github.com/JethroPeng/EyeSeg。
引用
@article{arxiv.2507.09649,
title = {EyeSeg: An Uncertainty-Aware Eye Segmentation Framework for AR/VR},
author = {Zhengyuan Peng and Jianqing Xu and Shen Li and Jiazhen Ji and Yuge Huang and Jingyun Zhang and Jinmin Li and Shouhong Ding and Rizen Guo and Xin Tan and Lizhuang Ma},
journal= {arXiv preprint arXiv:2507.09649},
year = {2025}
}
备注
Accepted to IJCAI