DeepMetricEye：近眼 VR 图像中的度量深度估计
图像与视频处理
2023-11-14 v1 计算机视觉与模式识别
人机交互
摘要
尽管 VR 头显提供了增强的真实感和沉浸感，但由于 VR 显示器的过度眼部刺激以及面罩压力，用户经常遇到数字眼疲劳（DES）、干眼和潜在长期视力损伤等不良影响。最近的 VR 头显越来越多地配备面向眼睛的单目摄像头以分割眼部特征图。然而，为了计算入射光刺激并观察近眼状况变化，必须将这些相对测量值转换为度量维度。为弥补这一差距，我们提出了一种基于重新优化的 U-Net 3+ 深度学习骨干的轻量级框架，用于估计可测量的近眼深度图。我们的方法兼容任何配备面向眼睛的单目摄像头的 VR 头显，可重建三维近眼区域，为相关光刺激计算协议和医疗指南提供度量基础。为应对数据收集的复杂性，我们引入了基于 UE MetaHuman 的动态近眼数据生成（DPDG）环境，该环境从少量人脸扫描数据合成数千张训练图像。在 36 名参与者的样本上评估，我们的方法在近眼全局精度评估实验和瞳孔直径测量中表现出显著效能。
引用
@article{arxiv.2311.07235,
title = {DeepMetricEye: Metric Depth Estimation in Periocular VR Imagery},
author = {Yitong Sun and Zijian Zhou and Cyriel Diels and Ali Asadipour},
journal= {arXiv preprint arXiv:2311.07235},
year = {2023}
}