MIO：基于自监督二值对比学习的互信息优化
计算机视觉与模式识别
2025-04-15 v3 机器学习
摘要
自监督对比学习框架在过去几年中取得了快速进展。本文提出了一种新颖的对比学习损失函数。我们将预训练任务建模为一个二分类问题，以产生隐式的对比效应。在消除正样本对之间的排斥效应并纳入负样本对排斥的上界后，我们进一步改进了朴素的损失函数。与现有方法不同，所提出的损失函数优化了正样本对和负样本对中的互信息。我们还给出了参数梯度流的闭式表达式，并利用 Hessian 特征谱比较了自监督对比框架的行为，以解析地研究其收敛性。所提出的方法在 CIFAR-10、CIFAR-100、STL-10 和 Tiny-ImageNet 等基准数据集上优于当前最先进的自监督对比框架。以 ResNet-18 为骨干网络进行 200 轮预训练后，所提出的模型在 CIFAR-10、CIFAR-100、STL-10 和 Tiny-ImageNet 数据集上分别达到了 86.36%、58.18%、80.50% 和 30.87% 的准确率，分别超出最先进对比基线 1.93%、3.57%、4.85% 和 0.33%。所提出的框架在 ImageNet100 和 ImageNet1K 数据集上还分别取得了 78.4%（200 轮）和 65.22%（100 轮）的 Top-1 线性评估准确率，达到了当前最先进水平。
引用
@article{arxiv.2111.12664,
title = {MIO : Mutual Information Optimization using Self-Supervised Binary Contrastive Learning},
author = {Siladittya Manna and Umapada Pal and Saumik Bhattacharya},
journal= {arXiv preprint arXiv:2111.12664},
year = {2025}
}