ObjectFinder：一个面向盲人交互式对象搜索的开放词汇辅助系统
人机交互
2025-05-01 v2 计算机视觉与模式识别
摘要
在陌生环境中寻找物体是盲人面临的挑战性任务。这涉及指定目标物体、检测它，然后根据用户意图收集详细信息。然而，现有的基于描述和检测的辅助技术并不足以支持交互式对象搜索任务的多面性。我们提出 ObjectFinder，一个面向盲人交互式对象搜索的开放词汇可穿戴辅助系统。ObjectFinder 允许用户使用灵活的表述查询目标物体。一旦检测到目标物体，系统会实时提供包括距离和方向在内的俯瞰定位信息。用户随后可以发起不同的分支，以根据他们对目标物体的意图收集详细信息，例如导航至它或感知其周围环境。ObjectFinder 由开放词汇模型的无缝组合而动力化，其中包括开放词汇目标检测器和多模态大语言模型。ObjectFinder 的设计概念及其开发均由一位盲人共设计者合作完成。为评估 ObjectFinder，我们对八位盲人参与者进行了探索性用户研究。我们将 ObjectFinder 与 BeMyAI 和 Google Lookout 进行了比较，这些是流行的基于描述和检测的辅助应用程序。我们的发现表明，大多数参与者在 ObjectFinder 下感觉更独立，并倾向于用于对象搜索，因为它增强了场景上下文收集和导航的能力，并允许主动目标识别。最后，我们讨论了未来辅助系统以支持交互式对象搜索的意义。
引用
@article{arxiv.2412.03118,
title = {ObjectFinder: An Open-Vocabulary Assistive System for Interactive Object Search by Blind People},
author = {Ruiping Liu and Jiaming Zhang and Angela Schön and Karin Müller and Junwei Zheng and Kailun Yang and Anhong Guo and Kathrin Gerling and Rainer Stiefelhagen},
journal= {arXiv preprint arXiv:2412.03118},
year = {2025}
}