迈向领域无关的对比学习
机器学习
2021-07-21 v2 人工智能
机器学习
摘要
尽管近期取得进展，大多数对比自监督学习方法仍是领域特定的，严重依赖需要特定领域知识的数据增强技术，如图像裁剪与旋转。为克服此限制，我们提出一种新颖的领域无关对比学习方法，名为 DACL，可应用于那些不变性以及随之的数据增强技术不易获得的领域。我们方法的关键在于利用 Mixup 噪声，通过在输入或隐状态层面以不同方式混合数据样本来创建相似与不相似的样本。为证明 DACL 的有效性，我们在表格数据、图像和图等多个领域进行了实验。我们的结果表明，DACL 不仅优于其他领域无关的加噪方法（如高斯噪声），还能与 SimCLR 等领域特定方法良好结合，以改进自监督视觉表征学习。最后，我们从理论上分析了我们的方法，并展示了相对于基于高斯噪声的对比学习方法的优势。
引用
@article{arxiv.2011.04419,
title = {Towards Domain-Agnostic Contrastive Learning},
author = {Vikas Verma and Minh-Thang Luong and Kenji Kawaguchi and Hieu Pham and Quoc V. Le},
journal= {arXiv preprint arXiv:2011.04419},
year = {2021}
}
备注
Published in ICML 2021