用于语义分割与深度补全的多任务 GANs 及循环一致性
计算机视觉与模式识别
2020-12-01 v1
摘要
语义分割与深度补全是场景理解中两项具挑战性的任务，广泛用于机器人与自动驾驶。尽管已有若干工作通过微小改动（如更改最后一层）联合训练这两任务，但任一任务的结果未被用以提升另一任务性能，尽管二者存在相似性。本文提出多任务生成对抗网络（Multi-task GANs），其不仅胜任语义分割与深度补全，还能通过生成的语义图像提升深度补全精度。此外，我们基于 CycleGAN 引入多尺度空间池化块与结构相似性重建损失，改善生成语义图像的细节。进而，考虑语义与几何结构的内在一致性，我们提出语义引导平滑损失以改进深度补全结果。在 Cityscapes 数据集与 KITTI 深度补全基准上的大量实验表明，Multi-task GANs 在两项任务上均能取得具竞争力的性能。
引用
@article{arxiv.2011.14272,
title = {Multi-task GANs for Semantic Segmentation and Depth Completion with Cycle Consistency},
author = {Chongzhen Zhang and Yang Tang and Chaoqiang Zhao and Qiyu Sun and Zhencheng Ye and Jürgen Kurths},
journal= {arXiv preprint arXiv:2011.14272},
year = {2020}
}