一种用于多任务学习并应用于图像检索的调制模块

多任务学习已被广泛采用在许多计算机视觉任务中，以在假设这些任务彼此相关且互补的前提下，提高整体计算效率或提升单个任务的性能。然而，实践中任务之间的关系是复杂的，尤其当涉及任务的数量增加时。当两个任务相关性较弱时，它们在共享参数的联合训练过程中可能相互竞争甚至干扰，从而损害所有任务的学习。这将引发破坏性干扰，降低共享参数的学习效率，并导致关于共享参数的低质量损失局部最优。为解决此问题，我们提出一个通用的调制模块，可插入任意卷积神经网络架构中，以鼓励相关任务的耦合与特征共享，同时以极少的参数增加解耦不相关任务的学习。配备该模块后，来自不同任务的梯度方向可被强制对共享参数保持一致，这有利于多任务联合训练。该模块端到端可学习，无需针对特定任务的临时设计，并可自然地处理多个任务。我们将我们的方法应用于两个检索任务：CelebA 数据集 [1] 上的人脸检索和 UT-Zappos50K 数据集 [2, 3] 上的商品检索，并展示了其在准确率和存储效率上相对于其他多任务学习方法的优势。