为轻量级对比模型建立更强的基线
计算机视觉与模式识别
2023-07-18 v2 机器学习
摘要
近期研究报道,专为高效网络(如 MobileNet 和 EfficientNet)设计的自监督对比学习存在性能退化。解决该问题的常见做法是引入预训练的对比教师模型,并利用教师生成的蒸馏信号训练轻量级网络。然而,当教师模型不可用时,预训练它耗时耗资源。本工作中,我们旨在不使用预训练教师模型为轻量级对比模型建立更强的基线。具体而言,我们表明高效模型的最优方案不同于更大模型,且如先前研究那样使用与 ResNet50 相同的训练设置是不合适的。此外,我们观察到对比学习中一个常见问题:正样本或负样本视图可能存在噪声,并提出了 InfoNCE 损失的平滑版本以缓解该问题。结果,我们成功将 MobileNet-V3-Large 在 ImageNet 上的线性评估结果从 36.3% 提升至 62.3%,将 EfficientNet-B0 从 42.2% 提升至 65.8%,以 更少的参数缩小了与 ResNet50 的精度差距。我们希望本研究能促进轻量级对比模型的使用。
引用
@article{arxiv.2212.07158,
title = {Establishing a stronger baseline for lightweight contrastive models},
author = {Wenye Lin and Yifeng Ding and Zhixiong Cao and Hai-tao Zheng},
journal= {arXiv preprint arXiv:2212.07158},
year = {2023}
}
备注
ICME 2023 oral