对比学习的数据增强即估计正激励噪声
机器学习
2026-05-11 v3 计算机视觉与模式识别
摘要
受正激励噪声（Pi-Noise或π-Noise）旨在学习对任务有益的可靠噪声这一思想的启发，我们科学地研究了对比学习与π-噪声之间的联系。通过将对比损失转换为辅助高斯分布，在信息论框架下定量衡量特定对比模型的难度，我们恰当地定义了对比学习的任务熵，即π-噪声的核心概念。进一步证明，标准对比学习范式中预设的数据增强可以被视为π-噪声的一种点估计。受理论研究的启发，我们提出了一个框架，通过开发π-噪声生成器来学习有益噪声（而非估计）作为对比的数据增强。所设计的框架可应用于多种类型的数据，并且完全兼容现有的对比模型。从可视化中，我们惊讶地发现所提出的方法成功学习了有效的增强。我们的代码可在https://github.com/hyzhang98/PiNDA获取。
引用
@article{arxiv.2408.09929,
title = {Data Augmentation of Contrastive Learning is Estimating Positive-incentive Noise},
author = {Hongyuan Zhang and Yanchen Xu and Sida Huang and Xuelong Li},
journal= {arXiv preprint arXiv:2408.09929},
year = {2026}
}
备注
Accepted by ICML 2026