基于梯度范数谱界的对比学习：你需要多样性
计算与语言
2025-10-08 v1
摘要
我们推导非渐近谱带，界定 InfoNCE 梯度范数的平方通过对齐、温度和批次谱，恢复 定律，并在合成数据和 ImageNet 上紧密跟踪批均值梯度。使用有效秩 作为各向异性代理，设计谱感知批选择，包括快速贪心构建器。在 ImageNet-100 上，Greedy-64 将 top-1 达到 67.5% 所需时间缩短 15%（相较随机模式下为 24%，相较 Pool--P3 下为 24%），在等效准确率下实现此目标；CIFAR-10 显示类似收益。在批内白化化中，促进各向同性，使 50 步梯度方差降低 ，匹配我们的理论上界。
引用
@article{arxiv.2510.05767,
title = {Diversity Is All You Need for Contrastive Learning: Spectral Bounds on Gradient Magnitudes},
author = {Peter Ochieng},
journal= {arXiv preprint arXiv:2510.05767},
year = {2025}
}