面向维护任务的增强现实与 ChatGPT 自动化文本到动作
人机交互
2023-07-10 v1
摘要
传感器技术、人工智能(AI)和增强现实(AR)的进步在各个领域开辟了机遇。AR 和诸如 GPT 之类的大语言模型已取得实质性进展,并日益应用于不同领域。其中一个有前景的应用是在运营与维护(O&M)中。O&M 任务通常涉及复杂的程序和序列,难以记忆和正确执行,尤其对新手或在高压力情境下。通过结合将虚拟对象叠加到物理世界的优势,以及使用 GPT 生成类人文本,我们可以革新 O&M 操作。本研究介绍了一种结合 AR、光学字符识别(OCR)和 GPT 语言模型的系统,以优化用户表现,同时在 O&M 任务中提供可信交互并减轻工作负荷。该系统提供了一个由 Unity 游戏引擎控制的交互式虚拟环境,促进虚拟与物理现实之间的无缝交互。我们进行了一个案例研究(N=15)以说明发现并回答研究问题。结果表明,用户使用我们提出的 AR 和 AI 系统能在更短时间内完成难度相当的任务。此外,收集的数据也表明,使用 AR 和 AI 系统执行相同操作时认知负荷降低且信任度提高。
引用
@article{arxiv.2307.03351,
title = {Augmented Reality for Maintenance Tasks with ChatGPT for Automated Text-to-Action},
author = {Fang Xu and Tri Nguyen and Jing Du},
journal= {arXiv preprint arXiv:2307.03351},
year = {2023}
}
备注
36 pages