语义-深度共生：语义与深度的深度耦合半监督学习
计算机视觉与模式识别
2022-10-27 v2
摘要
多任务学习（MTL）范式专注于联合学习两个或更多任务，旨在显著提升模型的泛化性、性能以及训练/推理内存占用。上述优势在视觉相关密集预测任务的联合训练中变得尤为不可或缺。本工作中，我们处理两个密集任务（即语义分割与深度估计）的 MTL 问题，并提出一种称为跨通道注意力模块（CCAM）的新型注意力模块，其促进两任务间沿各通道的有效特征共享，以可忽略的可训练参数增长带来互利的性能增益。在真正的共生精神下，我们随后利用预测深度为语义分割任务提出一种称为 AffineMix 的新型数据增强，以及利用预测语义的一种简单深度增强称为 ColorAug。最后，我们在 Cityscapes 和 ScanNet 数据集上验证了所提方法的性能增益，帮助我们基于深度与语义分割的半监督联合模型取得最先进结果。
引用
@article{arxiv.2206.10562,
title = {Semantics-Depth-Symbiosis: Deeply Coupled Semi-Supervised Learning of Semantics and Depth},
author = {Nitin Bansal and Pan Ji and Junsong Yuan and Yi Xu},
journal= {arXiv preprint arXiv:2206.10562},
year = {2022}
}