基于边界知识迁移的参考语义分割
计算机视觉与模式识别
2021-08-04 v1
摘要
给定图像中一个未知类型的参考对象，人类观察者可以毫不费力地在另一张图像中找到相同类别的对象，并精确地指出它们的视觉边界。人类的这种视觉认知能力似乎在当前的计算机视觉研究范围中缺失。例如，现有的分割网络依赖于大量标记数据，这些数据的收集和标注费时费力；此外，分割网络的性能往往随着类别数量的增加而下降。在本文中，我们引入了一种新颖的参考语义分割网络（Ref-Net）来进行视觉边界知识迁移。Ref-Net包含一个参考分割模块（RSM）和一个边界知识迁移模块（BKTM）。受人类识别机制的启发，RSM被设计为仅基于参考对象的特征分割相同类别的对象。另一方面，BKTM引入了两个边界判别器分支，以对抗方式对目标对象进行内边界和外边界分割，并将开源数据集的标注边界知识迁移到分割网络中。大量实验表明，以数十个精细标注样本为指导，Ref-Net在六个数据集上取得了与全监督方法相当的结果。
引用
@article{arxiv.2108.01075,
title = {Boundary Knowledge Translation based Reference Semantic Segmentation},
author = {Lechao Cheng and Zunlei Feng and Xinchao Wang and Ya Jie Liu and Jie Lei and Mingli Song},
journal= {arXiv preprint arXiv:2108.01075},
year = {2021}
}
备注
Accepted by IJCAI 2021. arXiv admin note: text overlap with arXiv:2108.00379