XR 环境中开放集目标检测的用户提示策略与提示增强方法
计算机视觉与模式识别
2026-02-02 v1
摘要
开放集目标检测（OSOD）在推断时定位目标，同时识别并拒绝未知类别。虽然最近的 OSOD 模型在基准测试上表现良好，但在现实用户提示下行为如何仍未得到充分探讨。在交互式 XR 环境中，用户生成的提示常常模糊、不完整或过于详细。为研究提示条件下的鲁棒性，我们在真实世界的 XR 图像上评估了两个 OSOD 模型 GroundingDINO 和 YOLO-E，并使用视觉语言模型模拟多样化的用户提示行为。我们考虑四种提示类型：标准提示、欠详细提示、过度详细提示和实用性模糊提示，检验两种增强策略对这些提示的影响。结果表明，两个模型在欠详细和标准提示下表现稳定，但在模糊提示下性能下降。过度详细提示主要影响 GroundingDINO。提示增强在模糊性下显著提升鲁棒性，mIoU 和平均置信度分别提升超过 55% 和 41%。基于这些发现，我们提出了针对 XR 环境中 OSOD 模型的多个提示策略和提示增强方法。
引用
@article{arxiv.2601.23281,
title = {User Prompting Strategies and Prompt Enhancement Methods for Open-Set Object Detection in XR Environments},
author = {Junfeng Lin and Yanming Xiu and Maria Gorlatova},
journal= {arXiv preprint arXiv:2601.23281},
year = {2026}
}
备注
Accepted by IEEE VR 2026: GenAI-XR workshop