基于RGBD感知的语义分割增量式类别发现
计算机视觉与模式识别
2019-07-24 v1 机器人学
摘要
本工作处理利用RGBD感知随时间发现新语义类别的开放世界语义分割任务。尽管真实世界存在多种物体，当前语义分割方法作封闭世界假设，仅训练分割有限物体类。为更开放世界的方法，我们提出一种增量学习图像分割新类的新型方法。所提系统首先用颜色与几何信息分割每帧RGBD，然后聚合信息构建环境单一分割稠密三维地图。分割三维地图表示是我们方法的关键组件，用于通过识别三维地图中无语义标签的相干区域来发现新物体类。以三维地图中相干区域为基元而非surfel或voxel等传统元素，也显著降低方法的计算复杂度和内存使用，从而在每帧增量更新稠密三维地图时以{10.7}Hz达半实时性能。在NYUDv2数据集实验表明，所提方法能正确聚类已知与未知类物体。我们也展示与SOTA监督方法的定量比较、各步处理时间及各组件影响。
引用
@article{arxiv.1907.10008,
title = {Incremental Class Discovery for Semantic Segmentation with RGBD Sensing},
author = {Yoshikatsu Nakajima and Byeongkeun Kang and Hideo Saito and Kris Kitani},
journal= {arXiv preprint arXiv:1907.10008},
year = {2019}
}
备注
10 pages, To appear at IEEE International Conference on Computer Vision (ICCV 2019)