零样本模型的零样本鲁棒化
机器学习
2024-02-13 v2 人工智能
摘要
零样本推断是一种强大的范式，它使得大型预训练模型无需进一步训练即可用于下游分类任务。然而，这些模型易受继承偏差的影响，从而损害其性能。传统的解决方案是微调，但这破坏了预训练模型的关键优势，即开箱即用的能力。我们提出 RoboShot，一种以完全零样本方式提升预训练模型嵌入鲁棒性的方法。首先，我们利用语言模型（LMs）从任务描述中获取有用洞察。这些洞察被嵌入并用于移除嵌入中有害的成分、增强有用的成分——无需任何监督。在理论上，我们提供了一个简单且易处理的零样本嵌入中偏差模型，并给出一个刻画在何种条件下我们的方法能提升性能的结果。在实验上，我们在 9 个图像与 NLP 分类任务上评估 RoboShot，相较若干零样本基线，最差组准确率平均提升 15.98%，而总体准确率仅有微小下降。此外，我们展示了 RoboShot 与多种预训练及语言模型兼容，并提出一种通过零样本自适应变体进一步提升性能的方法。
引用
@article{arxiv.2309.04344,
title = {Zero-Shot Robustification of Zero-Shot Models},
author = {Dyah Adila and Changho Shin and Linrong Cai and Frederic Sala},
journal= {arXiv preprint arXiv:2309.04344},
year = {2024}
}
备注
International Conference on Learning Representations (ICLR), 2024