Model Ratatouille：回收多样化模型以实现分布外泛化

基础模型正在重新定义AI系统的构建方式。从业者现在遵循一套标准流程来构建其机器学习解决方案：从预训练的基础模型开始，在感兴趣的目标任务上微调权重。因此，互联网上充斥着少数几个在许多不同任务上微调过的基础模型：这些单独的微调孤立存在，未能相互受益。我们认为这是一个错失的机会，因为这些专门化的模型包含丰富且多样化的特征。因此，在本文中，我们提出了一种名为Model Ratatouille的新策略，以回收同一基础模型在不同辅助任务上的多次微调。具体而言，我们将这些辅助权重重新用作目标任务上多个并行微调的初始化；然后，我们对所有微调后的权重求平均以获得最终模型。这种回收策略旨在通过利用辅助任务的多样性来最大化权重的多样性。在经验上，它改进了分布外泛化的参考基准DomainBed上的最新技术水平。展望未来，这项工作为可更新机器学习的新兴范式做出了贡献，在该范式中，类似于开源软件开发，社区协作以可靠地更新机器学习模型。我们的代码已发布：https://github.com/facebookresearch/ModelRatatouille。