挖掘你自己的视角：基于跨样本预测的自监督学习
机器学习
2021-12-14 v3
摘要
最先进的自监督学习（SSL）方法通过最大化同一样本不同变换“视角”之间的相似性来构建表示。然而，若用于创建视角的变换缺乏足够多样性，则难以克服数据中的干扰变量并构建丰富的表示。这促使我们利用数据集本身来寻找相似却不同的样本，使其互为视角。本文提出 Mine Your Own vieW（MYOW），一种通过在数据集内部定义多样化预测目标的新自监督学习方法。该方法的核心思想是主动挖掘视角，即寻找在网络表示空间中相邻的样本，然后从一个样本的潜在表示预测邻近样本的表示。在展示 MYOW 在计算机视觉常用基准上的潜力后，我们强调了该思想在神经科学中一个尚未应用 SSL 的新颖应用中的威力。在多单元神经记录上的测试表明，MYOW 在所有例子中均优于其他自监督方法（某些情况下超过 10%），且常超越监督基线。借助 MYOW，我们表明可以利用数据的多样性构建丰富视角，并在增强手段有限或未知的新的领域中 leverage 自监督。
引用
@article{arxiv.2102.10106,
title = {Mine Your Own vieW: Self-Supervised Learning Through Across-Sample Prediction},
author = {Mehdi Azabou and Mohammad Gheshlaghi Azar and Ran Liu and Chi-Heng Lin and Erik C. Johnson and Kiran Bhaskaran-Nair and Max Dabagia and Bernardo Avila-Pires and Lindsey Kitchell and Keith B. Hengen and William Gray-Roncal and Michal Valko and Eva L. Dyer},
journal= {arXiv preprint arXiv:2102.10106},
year = {2021}
}