检测、拒绝、校正：受损传感器的跨模态补偿
机器人学
2020-12-02 v1 人工智能
机器学习
摘要
利用来自多模态的传感器数据提供了一个编码冗余与互补特征的机会，当某一模态受损或含噪时这些特征会很有用。人类每天都会这样做，在视觉具有挑战性的环境中依赖触觉与本体感受反馈。然而，机器人未必总知道其传感器何时受损，因为即便损坏的传感器也可能返回有效值。在这项工作中，我们引入了跨模态补偿模型（CCM），它可以检测受损的传感器模态并对其进行补偿。CCM 是一个通过自监督学习的表示模型，它利用单模态重建损失进行损坏检测。随后 CCM 丢弃受损模态，并利用其余传感器中的信息进行补偿。我们展示了 CCM 学习到丰富的状态表示，可用于接触丰富的操作策略，即便输入模态以训练时未见过的方式受损。
引用
@article{arxiv.2012.00201,
title = {Detect, Reject, Correct: Crossmodal Compensation of Corrupted Sensors},
author = {Michelle A. Lee and Matthew Tan and Yuke Zhu and Jeannette Bohg},
journal= {arXiv preprint arXiv:2012.00201},
year = {2020}
}
备注
8 pages, 5 figures