机器人操作失败的多模态检测与识别
机器人学
2023-05-09 v1
摘要
自主服务机器人应能在无需人工协助的情况下安全、鲁棒地与其环境交互。非结构化环境对机器人而言具有挑战性，因为结果的精确预测并非总是可行。即便机器人行为设计良好，物理性的机器人-物体交互的不可预测性也可能阻碍物体操作的成功。因此，操作动作的执行可能导致涉及物体或环境事故或损坏的不良结果。情境感知在此类情况下变得重要，以使机器人能够（i）维持自身与环境的完整性，（ii）在短期内从失败任务中恢复，以及（iii）在长期内学会避免失败。为此，应持续监控机器人执行过程，并适当地检测和分类失败。在本工作中，我们专注于使用相同的外部感知设置检测和分类操作阶段及操作后阶段的失败。我们涵盖了桌面主要操作动作的多样化失败类型集合。为检测这些失败，我们提出了 FINO-Net [1]，一种基于深度多模态传感器融合的分类器网络。所提网络无需任何先验知识即可从原始感官数据准确检测和分类失败。在本工作中，我们使用扩展的 FAILURE 数据集 [1]，包含 99 条新的多模态操作记录，并用相应失败类型进行标注。FINO-Net 取得了 0.87 的失败检测 F1 分数和 0.80 的失败分类 F1 分数。实验结果表明所提架构也适用于实时使用。
引用
@article{arxiv.2305.04639,
title = {Multimodal Detection and Identification of Robot Manipulation Failures},
author = {Arda Inceoglu and Eren Erdal Aksoy and Sanem Sariel},
journal= {arXiv preprint arXiv:2305.04639},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2011.05817