从视觉-语言基础模型蒸馏分布外鲁棒性

我们提出了一个概念上简单且轻量级的框架，通过结合知识蒸馏与数据增强来提升视觉模型的鲁棒性。我们针对“更大的模型未必是更好的教师”这一猜想，展示了从预训练基础模型蒸馏时在分布外鲁棒性上的显著增益，从而予以反驳。遵循该发现，我们提出离散对抗蒸馏(Discrete Adversarial Distillation, DAD)，其利用鲁棒教师生成对抗样本，并使用VQGAN将其离散化，从而比标准数据增强技术创造出更具信息量的样本。我们为在数据增强设定下的知识蒸馏中使用鲁棒教师提供了理论框架，并展示了在不同学生架构上分布外鲁棒性与干净准确率的强劲提升。值得注意的是，与类似技术相比，我们的方法仅增加极少的计算开销，且可轻易与其他数据增强结合以进一步提升。