模型引导：通过参考模型提升泛化界限与规模定律

本文正式化了一种新兴的学习范式，即利用已训练好的模型作为参考来指导并增强目标模型训练，通过战略性的数据选择或加权，称为$\textbf{模型引导}$。尽管在 various context 中已有一些 ad-hoc 方法被用于各种场景，包括大型基础模型的训练，但其 underlying 原理仍不够被充分理解，导致亚最优性能。本文提出了一种基于理论驱动的框架，称为$\textbf{DRRho 风险最小化}$，其根植于分布鲁棒优化（DRO）。通过泛化分析，我们提供了理论见解，阐明为何这种方法在没有参考模型时更能提升泛化性和数据效率。迄今为止，已有文献首次为这种新型学习范式提供此类理论见解，这显著增强了我们对模型引导的理解与实践。基于这些见解以及对比学习与 DRO 之间的联系，我们引入了一种新的 CLIP 对比语言-图像预训练方法，称为 DRRho-CLIP。大量实验验证了理论见解，揭示了相较于无参考模型的 CLIP 具有更优秀的规模定律，并证明其优于现有启发式方法。