无监督关联分析

在两个数据源之间建立关联是众多计算机视觉问题的基本构建模块。在本文中，我们试图回答一个基本的认知问题：在不同域之间进行关联是否必须依赖先验对应关系？跨域关联最流行的方法之一是典型相关分析（CCA）。当前所有 CCA 算法都需要视图之间的对应关系。我们提出一种新方法——无监督关联分析（UCA），它不需要两个域之间的先验对应关系。CCA 中的相关性最大化项被替换为重构项（类似于自编码器）、全循环损失、正交性以及多个域混淆项的组合。由于缺乏监督，优化会导致多个得分相近的替代解，因此我们引入了一种基于共识的机制，通常能够恢复所需的解。值得注意的是，这足以关联文本与图像等远程域。我们还在公认的 CCA 基准上展示了结果，表明性能远超其他无监督基线，并在某些情况下接近有监督性能。