基于非对比互信息的表征学习
机器学习
2025-04-24 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
标注数据往往耗时且昂贵，我们仅拥有大量未标注的数据。如 SimCLR（Chen 等，2020）或 BYOL（Grill 等，2020）等自监督表征学习方法在从未标注图像数据中学习有意义的潜在表征方面取得了很大成功，使下游任务的表示更为通用和可迁移。广义而言，自监督方法可分为两类：1）对比方法，如 SimCLR；2）非对比方法，如 BYOL。对比方法通常试图最大化相关数据点之间的互信息，因此需要将每个数据点与每个其他数据点进行比较，导致方差较大，因而需要较大的批量大小才能发挥良好效果。非对比方法如 BYOL 方差较小，无需进行成对比较，但实施起来更为棘手，因为它们可能坍缩为常数向量。本文旨在开发一种结合两类方法优势的自监督目标函数。我们以一种特定的对比方法——谱对比损失（HaoChen 等，2021；Lu 等，2024）为基础，将其转换为更通用的非对比形式；这去除了成对比较，降低了方差，但保留了对比方法的互信息表述，防止坍缩。我们称新的目标函数为互信息非对比损失（Mutual Information Non-Contrastive, MINC）。我们通过在 ImageNet 上学习图像表征（类似 SimCLR 和 BYOL）对 MINC 进行测试，并表明其在持续改进谱对比损失基线的同时，具有更好的性能。
引用
@article{arxiv.2504.16667,
title = {Representation Learning via Non-Contrastive Mutual Information},
author = {Zhaohan Daniel Guo and Bernardo Avila Pires and Khimya Khetarpal and Dale Schuurmans and Bo Dai},
journal= {arXiv preprint arXiv:2504.16667},
year = {2025}
}