通过对比正则化微调释放对比自监督视觉模型的威力
计算机视觉与模式识别
2021-10-15 v2 机器学习
摘要
对比自监督学习（CSL）因通过无标签数据进行模型预训练而受到越来越多的关注。所得的 CSL 模型提供在特征空间中均匀散布的实例判别视觉特征。在部署时，常见的做法是直接用交叉熵微调 CSL 模型，但这在实践中可能并非最佳策略。尽管交叉熵倾向于分离类间特征，所得模型在减少 CSL 模型中存在的类内特征散布方面能力仍然有限。在本文中，我们研究将对比学习应用于微调是否会带来进一步收益，并分析发现优化对比损失有利于微调期间的判别性表示学习和模型优化。受这些发现启发，我们提出对比正则化微调（Core-tuning），一种用于微调 CSL 模型的新方法。Core-tuning 并非简单地将对比损失加到微调目标上，而是进一步应用一种新颖的困难样本对挖掘策略以实现更有效的对比微调，并平滑决策边界以更好地利用学到的判别性特征空间。在图像分类和语义分割上的大量实验验证了 Core-tuning 的有效性。
引用
@article{arxiv.2102.06605,
title = {Unleashing the Power of Contrastive Self-Supervised Visual Models via Contrast-Regularized Fine-Tuning},
author = {Yifan Zhang and Bryan Hooi and Dapeng Hu and Jian Liang and Jiashi Feng},
journal= {arXiv preprint arXiv:2102.06605},
year = {2021}
}
备注
NeurIPS 2021. Source code: https://github.com/Vanint/Core-tuning