MMRNet：通过多模态冗余提升料箱拣选多模态目标检测与分割的可靠性
计算机视觉与模式识别
2023-05-09 v3 机器学习
机器人学
摘要
近来，工业4.0基础设施在应对全球供应链劳动力短缺方面引发了巨大关注。在现实世界中部署人工智能赋能的机器人料箱拣选系统，对于减轻工人的压力与体力负担、同时提升仓库速度与效率变得尤为重要。为此，人工智能赋能的机器人料箱拣选系统可用于自动化订单拣选，但在传感器故障等异常事件中存在造成昂贵损失的风险。因此，可靠性成为将人工智能研究转化为现实应用与产品的关键因素。本文中，我们提出了一种具有多模态冗余（MMRNet）的可靠目标检测与分割系统，利用来自不同模态的数据解决机器人料箱拣选中的目标检测与分割问题。这是首个引入多模态冗余概念以应对部署期间传感器故障问题的系统。具体而言，我们通过门控融合模块和动态集成学习实现了多模态冗余框架。最后，我们提出了一种新的无标签多模态一致性（MC）分数，利用所有模态的输出衡量系统整体输出的可靠性与不确定性。通过实验，我们证明在缺失模态的事件中，我们的系统相比基线模型提供了更可靠的性能。我们还证明，相比常过于自信的模型生成置信度分数，我们的 MC 分数是推理时输出更可靠的可靠性指标。
引用
@article{arxiv.2210.10842,
title = {MMRNet: Improving Reliability for Multimodal Object Detection and Segmentation for Bin Picking via Multimodal Redundancy},
author = {Yuhao Chen and Hayden Gunraj and E. Zhixuan Zeng and Robbie Meyer and Maximilian Gilles and Alexander Wong},
journal= {arXiv preprint arXiv:2210.10842},
year = {2023}
}
备注
Accepted to CVPR TCV Workshop