面向缺乏大规模标注训练数据的真实应用场景的弱监督 DCNN RGB-D 物体识别
计算机视觉与模式识别
2020-03-31 v1
摘要
本文解决真实应用场景中的 RGBD 物体识别问题，这类场景通常缺乏大量标注训练数据。为克服此问题，我们提出一种新颖的弱监督学习架构（DCNN-GPC），它将参数化模型（一对分别用于 RGB 和 D 模态的深度卷积神经网络）与非参数化模型（高斯过程分类）相结合。我们的系统首先使用少量标注数据进行初始训练，然后自动将标签传播至大规模未标注数据。我们首先在 RGBD 视频上运行基于 3D 的物体性检测以获取大量未标注物体提议，随后使用 DCNN-GPC 对其进行标注。结果，我们的多模态 DCNN 仅需少量人工标注即可进行端到端训练。最后，我们的基于 3D 的物体性检测与多模态 DCNN 被集成到一个实时检测与识别流水线中。在我们的方法中，不需要边界框标注，且实现了边界感知检测。我们还提出一种新颖的方式，通过在由 CAD 模型投影生成的虚拟深度图像上训练，来预训练用于深度模态的 DCNN。我们在公开 3D 数据集上预训练多模态 DCNN，在 Washington RGBS 数据集上取得了与最先进方法相当的性能。然后，我们使用来自我们新颖的工业物体（核废料模拟物）数据集的少量标注数据进一步微调网络。我们的弱监督方法已被证明在解决缺乏人工标注的新颖 RGBD 物体识别应用中非常有效。
引用
@article{arxiv.1703.06370,
title = {Weakly-supervised DCNN for RGB-D Object Recognition in Real-World Applications Which Lack Large-scale Annotated Training Data},
author = {Li Sun and Cheng Zhao and Rustam Stolkin},
journal= {arXiv preprint arXiv:1703.06370},
year = {2020}
}
备注
8 pages, 5 figures, submitted to conference