Snap, Segment, Deploy：面向可穿戴工业助手的视觉数据与检测流水线
人机交互
2025-07-30 v1 机器人学
摘要
工业装配任务日益要求快速适应复杂的流程和多样的组件，但这些任务通常在执行于计算能力、网络连接有限且隐私要求严格的环境中。这些限制使得传统的基于云或完全自主的解决方案在工厂部署中不切实际。本文介绍了一种基于移动设备的助手系统，用于工业培训和操作支持，通过设备端感知和语音接口实现实时的、半免提交互。该系统将轻量级目标检测、语音识别和检索增强生成（RAG）集成到一个完全在设备上运行的模块化流水线中，从而无需依赖人工监督或云服务即可为零件处理和流程理解提供直观支持。为了实现可扩展的培训，我们采用了一种自动化的数据构建流水线，并引入了一种两阶段精炼策略，以提高在领域偏移下的视觉鲁棒性。在我们生成的数据集Gear8上的实验表明，该方法对领域偏移和常见视觉损坏的鲁棒性有所提升。一项结构化的用户研究进一步证实了其实用可行性，用户对指导清晰度和交互质量给予了积极反馈。这些结果表明，我们的框架为工业环境中实时、保护隐私的智能辅助提供了一种可部署的解决方案。我们将在论文被接收后发布Gear8数据集和源代码。
引用
@article{arxiv.2507.21072,
title = {Snap, Segment, Deploy: A Visual Data and Detection Pipeline for Wearable Industrial Assistants},
author = {Di Wen and Junwei Zheng and Ruiping Liu and Yi Xu and Kunyu Peng and Rainer Stiefelhagen},
journal= {arXiv preprint arXiv:2507.21072},
year = {2025}
}