扭曲-精炼传播：基于循环一致性的半监督自动标注
计算机视觉与模式识别
2021-09-29 v1 机器学习
摘要
用于语义分割的深度学习模型依赖于昂贵、大规模、人工标注的数据集。标注是一个繁琐的过程，每幅图像可能耗费数小时。通过时间传播稀疏标注帧来自动标注视频序列是一种更具可扩展性的替代方案。本文提出一种新颖的标签传播方法，称为 Warp-Refine Propagation（扭曲-精炼传播），其结合语义线索与几何线索以高效自动标注视频。我们的方法在半监督设定下，通过利用跨时间的循环一致性，学习精炼几何扭曲的标签并将其与学到的语义先验相融合。我们定量表明，在 ApolloScape 数据集上，我们的方法将标签传播性能提升了值得注意的 13.1 mIoU。此外，通过使用自动标注帧进行训练，我们在三个语义分割基准上取得了有竞争力的结果，在 NYU-V2 与 KITTI 上以 1.8 和 3.61 mIoU 的大幅优势超越 SOTA，同时在 Cityscapes 上匹配当前最佳结果。
引用
@article{arxiv.2109.13432,
title = {Warp-Refine Propagation: Semi-Supervised Auto-labeling via Cycle-consistency},
author = {Aditya Ganeshan and Alexis Vallet and Yasunori Kudo and Shin-ichi Maeda and Tommi Kerola and Rares Ambrus and Dennis Park and Adrien Gaidon},
journal= {arXiv preprint arXiv:2109.13432},
year = {2021}
}
备注
16 pages, 12 figures, including supplementary material. To be published in ICCV 2021