利用大语言模型进行虚拟现实探索性测试：案例研究
软件工程
2025-09-30 v2
摘要
随着虚拟现实（VR）产业的扩张，对自动化 GUI 测试的需求正在迅速增长。大语言模型（LLM）具备长期保留信息以及分析视觉和文本数据的能力，正成为解读 VR 不断演变的用户界面复杂性的潜在关键。在本文中，我们进行了一项案例研究，以调查使用 LLM（特别是 GPT-4o）进行 VR 探索性测试中视场（FOV）分析的能力。具体而言，我们验证了 LLM 能够识别 FOV 中的测试实体，并且提示工程可以有效将测试实体识别的准确率从 41.67% 提高到 71.30%。我们的研究还表明，LLM 能够以至少 90% 的准确率准确描述所识别实体的特征。我们进一步发现，能有效表征实体的核心特征是颜色、位置和形状。此外，这三个特征的组合尤其可用于提高在多个 FOV 中确定相同实体的准确率，其最高 F1 分数为 0.70。此外，我们的研究表明，通过精确设计的结构化提示，LLM 能够在 VR 中进行场景识别和空间理解。最后，我们发现 LLM 无法对已识别的测试实体进行标注，并讨论了作为未来研究方向的潜在解决方案。
引用
@article{arxiv.2501.05625,
title = {Harnessing Large Language Model for Virtual Reality Exploration Testing: A Case Study},
author = {Zhenyu Qi and Haotang Li and Hao Qin and Kebin Peng and Sen He and Xue Qin},
journal= {arXiv preprint arXiv:2501.05625},
year = {2025}
}