最大化对比学习中的增量信息熵
机器学习
2026-03-16 v1
摘要
对比学习在无监督表征学习中取得了显著成就，常以信息论目标如互信息最大化为指导。针对静态数据增强和刚性不变性约束的局限性，我们提出 IE-CL (Incremental-Entropy Contrastive Learning)，一个显式优化增量熵增益的框架，同时保持语义一致性。我们的理论框架通过识别编码器作为信息瓶颈，提出两个组件的联合优化：用于熵生成的可学习变换和用于其保持的编码器正则化器。在 CIFAR-10/100、STL-10 和 ImageNet 上的实验表明，IE-CL 在小批量设置下 consistently 提升性能。而且，我们的核心模块可无缝集成到现有框架中。这一工作桥接了理论原则与实践，为对比学习提供了新视角。
引用
@article{arxiv.2603.12594,
title = {Maximizing Incremental Information Entropy for Contrastive Learning},
author = {Jiansong Zhang and Zhuoqin Yang and Xu Wu and Xiaoling Luo and Peizhong Liu and Linlin Shen},
journal= {arXiv preprint arXiv:2603.12594},
year = {2026}
}
备注
ICLR 2026 (The Fourteenth International Conference on Learning Representations) https://openreview.net/forum?id=XL7ValpExh