通过线上一致性预测基础模型的性能
机器学习
2024-10-25 v2
摘要
在标签稀缺的情况下估计分布外性能对于安全部署基础模型至关重要。最近的研究表明，神经网络集成观察到“线上一致性”现象，可用于在无标签情况下可靠预测 OOD 性能。然而，与从头开始在分布内数据上训练多个 epoch 的经典神经网络不同，基础模型从预训练权重进行最小微调，这可能减少观察线上一致性所需的集成多样性。在我们的工作中，我们证明当对单个基础模型进行轻微微调多次运行时，训练过程中的随机性选择（线性头初始化、数据顺序和数据子集）可能导致所得集成中线上一致性水平的显著差异。令人惊讶的是，只有随机头初始化能够在微调的基础模型中可靠地引发线上一致性，这在视觉和语言基准测试中均得到验证。其次，我们证明在不同数据上预训练但在相同任务上微调的基础模型集成也能表现出线上一致性。总之，通过精心构建多样化的集成，我们可以利用基于线上一致性的方法高精度地预测基础模型的 OOD 性能。
引用
@article{arxiv.2404.01542,
title = {Predicting the Performance of Foundation Models via Agreement-on-the-Line},
author = {Rahul Saxena and Taeyoun Kim and Aman Mehra and Christina Baek and Zico Kolter and Aditi Raghunathan},
journal= {arXiv preprint arXiv:2404.01542},
year = {2024}
}