探索用于多任务密集预测的关系上下文

计算机视觉研究的发展历程以学习和利用高效上下文表示的进展为标志。然而，其中多数旨在提升模型在单一下游任务上的性能。我们考虑用于密集预测任务的多任务环境，以共享主干与独立任务特定头表示为特征。我们的目标是通过捕获依赖于任务关系跨任务上下文，找到优化各任务预测的最高效方式。我们在多任务设定中探索了各类基于注意力的上下文（如全局与局部），并分析了其在独立优化各任务时的行为。实证发现证实，不同的源-目标任务对受益于不同上下文类型。为自动化选择过程，我们提出自适应任务关系上下文（ATRC）模块，其利用神经架构搜索为每对任务从所有可用上下文池中采样，并输出用于部署的最优配置。我们的方法在两个重要多任务基准（即 NYUD-v2 与 PASCAL-Context）上取得了最先进性能。所提 ATRC 计算开销低，可作为即插即用优化模块用于任何有监督多任务架构。