人机交互（HRI）场景下基于师生适应的视频目标分割
计算机视觉与模式识别
2019-03-14 v4
摘要
视频目标分割是机器人操作中促进抓取和学习可供性的一项基本任务。增量学习对于非结构化环境中的机器人很重要，因为物体总数及其变化可能难以处理。受儿童学习过程启发，人机交互（HRI）可被用来以类似儿童向父母或老师学习的方式，在人类引导下教机器人关于世界的知识。人类教师可向机器人展示潜在感兴趣物体，机器人能够在无需提供手动分割标签的情况下自我适应教学信号。我们提出一种新颖的师生学习范式来教机器人关于周围环境。一个双流运动与外观“教师”网络提供伪标签以适配一个外观“学生”网络。该学生网络能够在其他场景中分割新学物体，无论其静止或运动。我们还引入了一个精心设计的服务于所提 HRI 设置的数据集，记为（交）互（视）频（物）体（分）割（I)nteractive (V)ideo (O)bject (S)egmentation。我们的 IVOS 数据集包含不同物体和操作任务的教学视频。与以往数据集不同，IVOS 提供带有分割标注的操作任务序列以及机器人轨迹的路点。它还提供针对平移、缩放、平面旋转和面外旋转等不同变换的分割标注。我们提出的适配方法在 DAVIS 和 FBMS 上分别以 F-measure 优于当前最优 6.8% 和 1.2%。它在 IVOS 数据集上以 mIoU 优于基线 46.1% 和 25.9%。
引用
@article{arxiv.1810.07733,
title = {Video Object Segmentation using Teacher-Student Adaptation in a Human Robot Interaction (HRI) Setting},
author = {Mennatullah Siam and Chen Jiang and Steven Lu and Laura Petrich and Mahmoud Gamal and Mohamed Elhoseiny and Martin Jagersand},
journal= {arXiv preprint arXiv:1810.07733},
year = {2019}
}
备注
Accepted in ICRA'19, https://msiam.github.io/ivos/