RISeg: 通过身体框架不变特征的机器人交互式物体分割

为了在新环境中成功执行操作任务（如抓取），机器人必须能够从背景和/或其他物体中分割出未见过的物体。先前的工作通过在大规模数据上训练深度神经网络来学习RGB/RGB-D特征嵌入，从而执行未见过的物体实例分割（UOIS），但杂乱环境常常导致分割不准确。我们在这些方法的基础上，引入了一种新方法，通过使用机器人交互和设计的身体框架不变特征来纠正不准确的分割（例如静态图像UOIS掩码的欠分割）。我们证明了由于机器人交互而随机附着在刚体上的框架的相对线速度和角速度可用于识别物体并累积校正后的物体级分割掩码。通过将运动引入分割不确定区域，我们能够以不确定性驱动的方式，通过最小、非破坏性的交互（每场景约2-3次）大幅提高分割精度。我们通过实现平均物体分割准确率80.7%（相比其他最先进的UOIS方法提高了28.2%）来证明我们提出的交互式感知流水线在准确分割杂乱场景方面的有效性。