利用多边缘匹配差距对比多个表示

学习可以通过多个（$k\geq 3$）视角或模态观察的复杂对象的有意义表示是机器学习中的核心任务。现有方法使用原本为成对视图设计的损失，并将其扩展到$k$个视图，要么通过实例化$\tfrac12k(k-1)$个损失对，要么通过使用缩减嵌入，遵循“一对其他平均”策略。我们提出了多边缘匹配差距（M3G），一种从多边缘最优传输（MM-OT）理论中借用工具以同时整合所有$k$个视图的损失。给定一个包含$n$个点的批次，每个点被视为一个$k$元组视图，随后转换为$k$个嵌入，我们的损失将匹配这些$n$个真实$k$元组的成本与MM-OT多匹配成本进行对比，后者寻求在这些$n\times k$个向量中选择的$n$个最优排列的$k$元组。虽然MM-OT问题的指数复杂度$O(n^k)$似乎令人生畏，但我们在实验中表明，该问题的Sinkhorn算法的适当推广可以扩展到例如$k=3\sim 6$个视图，使用大小为$64\sim128$的小批量。我们的实验表明，在自监督和多模态任务中，与成对损失的多视图扩展相比，性能有所提高。