学习关联深度与语义以实现无监督域适应
计算机视觉与模式识别
2021-07-06 v2 机器学习
摘要
我们提出一种在无监督域适应（UDA）场景下编码视觉任务关系以提升模型性能的方法。语义分割与单目深度估计被证明是互补任务；在多任务学习设定中，对其关系的恰当编码可进一步提升两项任务的性能。受此启发，我们提出一种新颖的跨任务关系层（CTRL），用于编码语义与深度预测之间的任务依赖。为捕获跨任务关系，我们设计了一种包含任务特定与跨任务细化头的神经网络架构。此外，我们提出迭代自学习（ISL）训练方案，利用语义伪标签在目标域提供额外监督。实验观察到两项任务性能均有所提升，因其更好地捕获了任务间互补信息。具体而言，我们表明：（1）当任务互补且相互依赖时，我们的方法可提升所有任务性能；（2）CTRL 有助于在极具挑战的 UDA 设定下改善语义分割与深度估计任务表现；（3）所提 ISL 训练方案进一步提升了语义分割性能。实现代码见 https://github.com/susaha/ctrl-uda。
引用
@article{arxiv.2105.07830,
title = {Learning to Relate Depth and Semantics for Unsupervised Domain Adaptation},
author = {Suman Saha and Anton Obukhov and Danda Pani Paudel and Menelaos Kanakis and Yuhua Chen and Stamatios Georgoulis and Luc Van Gool},
journal= {arXiv preprint arXiv:2105.07830},
year = {2021}
}
备注
Accepted at CVPR 2021; updated results according to the released source code