自损对比学习
计算机视觉与模式识别
2021-06-08 v1
摘要
对比学习近期的突破加速了在无标签真实数据应用上部署无监督训练的进程。然而，现实中的无标签数据通常是不平衡的并呈现长尾分布，且尚不清楚最新的对比学习方法在实际场景中能有多鲁棒。本文提出通过一个称为自损对比学习（Self-Damaging Contrastive Learning, SDCLR）的原则性框架来显式应对这一挑战，从而在不知类别的情况下自动平衡表征学习。我们的主要灵感来源于近期发现：深度模型存在难以记忆的样本，且这些样本可通过网络剪枝暴露出来。进一步自然地假设，由于样本不足，长尾样本对模型而言也更难学好。因此，SDCLR 的关键创新在于创建一个动态的自竞争模型来与目标模型进行对比，该自竞争模型是目标模型的剪枝版本。在训练过程中，对比这两个模型将导致对当前目标模型最易遗忘样本的自适应在线挖掘，并在对比损失中隐式地更加重视它们。在多个数据集和不平衡设定下的大量实验表明，SDCLR 在全程和少样本设定的线性评估中，不仅显著提升了总体准确率，也改善了平衡性。我们的代码见：https://github.com/VITA-Group/SDCLR。
引用
@article{arxiv.2106.02990,
title = {Self-Damaging Contrastive Learning},
author = {Ziyu Jiang and Tianlong Chen and Bobak Mortazavi and Zhangyang Wang},
journal= {arXiv preprint arXiv:2106.02990},
year = {2021}
}
备注
ICML 2021