在自监督学习中融合辅助信息
机器学习
2021-06-08 v1
摘要
本文提出在自监督学习过程中融合辅助信息（例如数据的附加属性，如Instagram图像的标签）。我们首先观察到辅助信息可能带来关于数据结构的有用信息：例如，带有相同标签的Instagram图像在语义上可能相似。因此，为利用来自辅助信息的结构信息，我们提出依据辅助信息构建数据簇。然后，我们引入聚类InfoNCE（Cl-InfoNCE）目标，其对来自同一簇的数据的增强变体学习相似表示，对来自不同簇的数据学习不相似表示。我们的方法贡献如下：1）与常规自监督表示相比，融入辅助信息的自监督表示使性能更接近监督表示；2）所提Cl-InfoNCE也可与无监督构建的簇（如k-means簇）协作，并超越如原型对比学习(PCL)方法等强基于聚类的自监督学习方法；3）我们通过将其与基线方法——用交叉熵损失学习预测聚类分配——比较，表明Cl-InfoNCE可能是利用数据聚类信息的更好方法。为分析，我们将所学表示的优良性与统计关系相联系：i)标签与簇之间的互信息，以及 ii)给定标签时簇的条件熵。
引用
@article{arxiv.2106.02869,
title = {Integrating Auxiliary Information in Self-supervised Learning},
author = {Yao-Hung Hubert Tsai and Tianqin Li and Weixin Liu and Peiyuan Liao and Ruslan Salakhutdinov and Louis-Philippe Morency},
journal= {arXiv preprint arXiv:2106.02869},
year = {2021}
}