AdjustAR：人工智能驱动的特定场地增强现实内容原位调整
人机交互
2025-08-12 v1
摘要
特定场地的户外增强现实（AR）体验通常使用静态3D模型进行创作，但部署在随时间变化的物理环境中。因此，虚拟内容可能与其预期的现实世界参照物错位，降低用户体验并损害情境解读。我们提出了AdjustAR系统，该系统支持使用多模态大语言模型（MLLMs）在动态环境中对AR内容进行原位校正。给定一张包含原始创作视图和来自同一视角的当前用户实时视图的合成图像，多模态大语言模型会检测情境错位，并为受影响的AR元素提出修正后的2D位置。这些校正被反投影到3D空间中，以在运行时更新场景。通过利用多模态大语言模型进行视觉-语义推理，这种方法能够实现自动化的运行时校正，以在现实世界目标环境演变时保持与创作意图的一致性。
引用
@article{arxiv.2508.06826,
title = {AdjustAR: AI-Driven In-Situ Adjustment of Site-Specific Augmented Reality Content},
author = {Nels Numan and Jessica Van Brummelen and Ziwen Lu and Anthony Steed},
journal= {arXiv preprint arXiv:2508.06826},
year = {2025}
}
备注
4 pages, 1 figure, ACM UIST 2025 Poster