Taskonomy：解耦任务迁移学习

视觉任务之间是否存在关联，还是彼此无关？例如，拥有表面法线能否简化图像深度的估计？直觉对这些问题的回答是肯定的，意味着视觉任务之间存在某种结构。了解这一结构具有重要价值；它是迁移学习背后的概念，并提供了一种原则性的方法来识别任务间的冗余，例如，在相关任务间无缝复用监督信号，或在一个系统中解决许多任务而不使复杂度叠加。我们提出了一种完全计算的方法来建模视觉任务空间的结构。这是通过在一个潜在空间中寻找包含26个2D、2.5D、3D和语义任务的字典中（一阶及高阶）迁移学习依赖关系来实现的。其产物是一个用于任务迁移学习的计算分类图。我们研究了该结构的后果，例如涌现的非平凡关系，并利用它们来减少对标注数据的需求。例如，我们展示了解决一组10个任务所需的总标注数据点数量可缩减约2/3（相比独立训练），同时保持性能几乎不变。我们提供了一组用于计算和探查该分类结构的工具，包括一个求解器，用户可用其针对自身用例设计高效的监督策略。