投影头秘密地是一个信息瓶颈
机器学习
2025-03-05 v2 信息论
math.IT
摘要
最近，对比学习已成为提取有意义数据表示的有前景范式。在各种特殊设计中，训练时在编码器顶部添加投影头而在下游任务中移除它，被证明能显著增强对比学习的性能。然而，尽管取得了经验上的成功，投影头的底层机制仍未被充分探索。本文从信息论角度对投影头进行了深入的理论理解。通过建立投影前特征在下游任务上的理论保证，我们揭示了一个有效的投影头应充当信息瓶颈，过滤掉与对比学习目标无关的信息。基于理论洞察，我们引入了对投影头的训练与结构正则化修改。在经验上，我们的方法在CIFAR-10、CIFAR-100和ImageNet-100等各种真实数据集上展现了一致的下游性能提升。我们相信对投影头作用的理论理解将激发该领域更原则性和更先进的设计。代码可在 https://github.com/PKU-ML/Projector_Theory 获取。
引用
@article{arxiv.2503.00507,
title = {Projection Head is Secretly an Information Bottleneck},
author = {Zhuo Ouyang and Kaiwen Hu and Qi Zhang and Yifei Wang and Yisen Wang},
journal= {arXiv preprint arXiv:2503.00507},
year = {2025}
}