面向非对称检索的兼容多奖励子网络学习

非对称检索是现实世界检索系统中常见的场景，其中在资源配置不同的平台上部署容量各异的兼容模型。现有方法通常训练预定义网络或为特定确定的平台设计特定容量的子网络，并通过兼容学习实现兼容性。然而，这些方法在多平台部署方面灵活性有限。例如，在检索系统中引入新平台时，开发者需要训练一个适用于现有模型通过向后兼容学习实现兼容的合适容量的额外模型。本文提出一种具备自兼容性的可裁剪网络 (Prunable Network with self-compatibility)，其允许开发者通过后训练修剪在任意所需容量下生成兼容子网络。因此，可在无需额外训练的情况下创建匹配新平台资源的稀疏子网络。具体而言，我们在兼容学习中优化不同容量下子网络的架构和权重。我们还设计了冲突感知的梯度集成方案，以处理密集网络与子网络之间梯度冲突。广泛的在多样化基准和视觉主干网络上的实验表明，我们方法有效。我们的代码和模型已在 https://github.com/Bunny-Black/PrunNet 上提供。