利用混合样本防止 Barlow Twins 过拟合
计算机视觉与模式识别
2023-12-05 v1 人工智能
机器学习
摘要
自监督学习旨在不依赖标注数据的情况下，为下游应用学习可迁移的特征表示。Barlow Twins 算法因其相比对比学习等方法具有更广泛的适用性和易于实现的特点而闻名，它通过最大化对常见损坏的不变性来最小化特征冗余。针对上述目标进行优化迫使网络学习有用的表示，同时避免噪声或常量特征，从而在有限微调的情况下提升下游任务性能。尽管 Barlow Twins 在预训练中被证明有效，但由于样本之间缺乏像对比学习方法那样的强交互，底层的 SSL 目标可能会无意中导致特征过拟合。从我们的实验中观察到，针对 Barlow Twins 目标进行优化并不一定能在某个预训练阶段之后保证表示质量的持续提升，并且可能会在某些数据集上降低下游性能。为了应对这一挑战，我们引入了混合 Barlow Twins，旨在通过线性插值样本改善 Barlow Twins 训练期间的样本交互。假设输入空间中的线性插值转换为特征空间中的线性插值特征，这为原始 Barlow Twins 目标引入了一个额外的正则化项。使用这种正则化进行预训练可有效缓解特征过拟合，并进一步提升在 CIFAR-10、CIFAR-100、TinyImageNet、STL-10 和 ImageNet 数据集上的下游性能。代码和检查点可在：https://github.com/wgcban/mix-bt.git 获取。
引用
@article{arxiv.2312.02151,
title = {Guarding Barlow Twins Against Overfitting with Mixed Samples},
author = {Wele Gedara Chaminda Bandara and Celso M. De Melo and Vishal M. Patel},
journal= {arXiv preprint arXiv:2312.02151},
year = {2023}
}
备注
Code and checkpoints are available at: https://github.com/wgcban/mix-bt.git