减少晕动症：揭秘与检测虚拟现实应用中的立体视觉不一致性
摘要
虚拟现实应用的质量至关重要，尤其是VR图形用户界面的渲染质量。与传统的2D应用不同，VR应用通过分别为用户的左眼和右眼渲染两个不同的2D图像，为用户创建一个3D数字场景。然而，立体视觉不一致性问题破坏了用户大脑的渲染过程，导致用户不适甚至不良健康影响。这类问题普遍存在，但尚未得到充分探索。我们对来自15个VR平台的282份立体视觉不一致性错误报告进行了实证分析，总结了15种表现形式。实证分析表明，自动检测立体视觉不一致性问题具有挑战性，主要原因在于：(1) 缺乏训练数据；(2) 立体视觉不一致性问题的表现形式多样、复杂，且通常与应用特定相关；(3) 大多数可访问的VR应用是闭源商业软件。现有的基于模式的监督分类方法在检测立体视觉不一致性问题时可能不适用或无效。为应对这些挑战，我们提出了一种名为StereoID的无监督黑盒测试框架，仅基于渲染的GUI状态来识别立体视觉不一致性。StereoID根据实际的左眼图像生成合成的右眼图像，并计算合成右眼图像与实际右眼图像之间的距离以检测立体视觉不一致性问题。我们提出了一种深度感知的条件立体图像转换器来驱动图像生成过程，该转换器捕捉左眼和右眼图像之间预期的视角偏移。我们构建了一个大规模未标记的VR立体截图数据集，包含来自288个真实世界VR应用的超过171K张图像用于实验。经过大量实验，StereoID在检测用户报告和真实VR应用中的立体视觉不一致性问题方面展现出优越性能。
引用
@article{arxiv.2406.09313,
title = {Less Cybersickness, Please: Demystifying and Detecting Stereoscopic Visual Inconsistencies in Virtual Reality Apps},
author = {Shuqing Li and Cuiyun Gao and Jianping Zhang and Yujia Zhang and Yepang Liu and Jiazhen Gu and Yun Peng and Michael R. Lyu},
journal= {arXiv preprint arXiv:2406.09313},
year = {2024}
}
备注
This work has been accepted at the ACM International Conference on the Foundations of Software Engineering (FSE) 2024, Porto de Galinhas, Brazil. DOI: https://doi.org/10.1145/3660803