具有 3D 感知正则化的多任务学习
计算机视觉与模式识别
2023-10-03 v1
摘要
深度神经网络因其能跨任务捕捉高维特征空间中复杂关联的能力，已成为设计可执行深度估计与语义分割等多种密集计算机视觉任务模型的标准构件。然而，在非结构化特征空间中习得的交叉任务关联可能极其嘈杂且易过拟合，从而损害性能。我们提出通过引入结构化 3D 感知正则化来解决该问题，该正则化将图像编码器提取的特征投影到共享 3D 特征空间，并通过可微渲染解码至各自任务输出空间，从而连接多个任务。我们表明所提方法与架构无关，可插入多种已有多任务主干网络以提升性能；我们在标准基准 NYUv2 和 PASCAL-Context 上提供了证据。
引用
@article{arxiv.2310.00986,
title = {Multi-task Learning with 3D-Aware Regularization},
author = {Wei-Hong Li and Steven McDonagh and Ales Leonardis and Hakan Bilen},
journal= {arXiv preprint arXiv:2310.00986},
year = {2023}
}
备注
3D-aware Multi-task Learning, Code will be available at https://github.com/VICO-UoE/MTPSL