数字孪生驱动的纺织品分类与自动分拣中的异物识别
计算机视觉与模式识别
2026-03-06 v1 机器人学
摘要
可持续纺织品回收的日益增长需求需要具备处理变形服装并在杂乱环境中检测异物的鲁棒自动化解决方案。本 work 提出了一种数字孪生驱动的机器人分拣系统，集成 grasp 预测、多模态感知和语义推理，用于实现真实世界纺织品分类。该系统由双臂机器人单元实现，配备 RGBD 感知、capacitive 触觉反馈和 collision-aware 运动规划，能够自动从未分类的篮子中分离服装、转移至检查区并使用最先进的视觉语言模型（VLM）进行分类。我们对 223 个检查场景（包括衬衫、袜子、裤子、内衣、异物（包括上述类别之外的服装）以及空场景）进行了基准测试。评估考察了每个类别的准确率、幻觉行为以及在实际硬件约束下的计算性能。结果表明，Qwen 模型家族实现了最高的总体准确率（最高达 87.9%），在异物检测方面表现突出，而轻量级模型如 Gemma3 在边缘部署方面提供了具竞争力的速度-精度权衡。结合 MoveIt 的数字孪生技术实现了 collision-aware 路径规划，并将被检查服装的分段 3D 点云集成到虚拟环境中以提高操作可靠性。该系统展示了将语义 VLM 推理与传统 grasp 检测和数字孪生技术相结合，以实现可扩展、在真实工业环境中实现自主纺织品分拣的可行性。
引用
@article{arxiv.2603.05230,
title = {Digital Twin Driven Textile Classification and Foreign Object Recognition in Automated Sorting Systems},
author = {Serkan Ergun and Tobias Mitterer and Hubert Zangl},
journal= {arXiv preprint arXiv:2603.05230},
year = {2026}
}
备注
10 pages,single column, 5 figures, preprint for Photomet Edumet 2026 (Klagenfurt, Austria)