通过交互学习实例分割
计算机视觉与模式识别
2018-06-22 v1 人工智能
机器学习
机器人学
机器学习
摘要
我们提出一种构建主动智能体的方法，该智能体通过以完全自监督的方式与环境交互，学习将其视觉观测分割为独立物体。智能体使用其当前分割模型推断构成物体的像素，并通过与这些像素交互来精炼分割模型。从超过 5 万次交互中学习到的模型可泛化到新颖物体与背景。为处理自监督交互获得的分割物体训练信号中的噪声，我们提出鲁棒集损失（robust set loss）。我们提供了一个机器人交互数据集以及少量人工标注样本作为未来研究的基准。我们通过在一个下游基于视觉的控制任务（仅从视觉输入将多个物体重排为目标构型）上提供结果，检验了所学分割模型的效用。视频、代码与机器人交互数据集可在 https://pathak22.github.io/seg-by-interaction/ 获取。
引用
@article{arxiv.1806.08354,
title = {Learning Instance Segmentation by Interaction},
author = {Deepak Pathak and Yide Shentu and Dian Chen and Pulkit Agrawal and Trevor Darrell and Sergey Levine and Jitendra Malik},
journal= {arXiv preprint arXiv:1806.08354},
year = {2018}
}
备注
Website at https://pathak22.github.io/seg-by-interaction/