以学习聚类实现跨域与跨任务的迁移学习

本文提出一种在域间与任务间执行迁移学习的新方法，将其表述为学习聚类的问题。核心洞见在于，除特征外，我们还可以迁移相似性信息，而这足以学习一个相似性函数与聚类网络，从而同时执行域适应与跨任务迁移学习。我们首先将类别信息约简为成对约束，仅考虑两个样本是否属于同一类。该相似性是与类别无关的，并可使用相似性网络从源域数据中学习。随后我们提出两种利用该相似性函数执行迁移学习的新方法。第一，对于无监督域适应，我们设计了一种新的损失函数，以受约束聚类损失对分类进行正则化，从而学习一个聚类网络，并由迁移的相似性度量生成训练输入。第二，对于跨任务学习（即含未见类别的无监督聚类），我们提出一个框架来重建并估计语义簇的数量，同样使用聚类网络。由于相似性网络存在噪声，关键在于使用鲁棒的聚类算法，我们表明我们的表述比替代的受约束与无约束聚类方法更鲁棒。利用该方法，我们首先在具有挑战性的跨任务问题上展示了SOTA结果，应用于Omniglot与ImageNet。我们的结果表明我们可以以高精度重建语义簇。随后我们使用来自Office-31与SVHN-MNIST任务的图片评估跨域迁移的性能，并在两个数据集上呈现了顶级准确率。我们的方法并未显式处理域差异。若结合域适应损失，则显示出进一步的提升。