零样本模型的鲁棒微调
计算机视觉与模式识别
2022-06-23 v3 机器学习
摘要
诸如 CLIP 或 ALIGN 的大型预训练模型在执行零样本推理（即不针对特定数据集微调）时，在一系列数据分布上提供一致的准确率。尽管现有的微调方法在给定目标分布上大幅提升了准确率，它们常降低对分布偏移的鲁棒性。我们通过引入一种简单有效的方法以在微调时提升鲁棒性来解决这一矛盾：集成零样本模型与微调模型的权重（WiSE-FT）。与标准微调相比，WiSE-FT 在分布偏移下提供大幅准确率提升，同时保持在目标分布上的高准确率。在 ImageNet 及五个派生分布偏移上，WiSE-FT 相较先前工作在分布偏移下的准确率提升 4 至 6 个百分点（pp），同时将 ImageNet 准确率提升 1.6 pp。WiSE-FT 在六个进一步的不同分布偏移上取得类似的大鲁棒性增益（2 至 23 pp），并在七个常用迁移学习数据集上相较标准微调取得 0.8 至 3.3 pp 的准确率增益。这些改进在微调或推理阶段均不带来额外计算成本。
引用
@article{arxiv.2109.01903,
title = {Robust fine-tuning of zero-shot models},
author = {Mitchell Wortsman and Gabriel Ilharco and Jong Wook Kim and Mike Li and Simon Kornblith and Rebecca Roelofs and Raphael Gontijo-Lopes and Hannaneh Hajishirzi and Ali Farhadi and Hongseok Namkoong and Ludwig Schmidt},
journal= {arXiv preprint arXiv:2109.01903},
year = {2022}
}
备注
CVPR 2022