在基础模型时代重新审视贝叶斯模型平均
机器学习
2025-05-29 v1 机器学习
摘要
我们重新审视了经典的、完整的贝叶斯模型平均（BMA）范式，以集成预训练和/或轻量微调的基础模型，从而提升图像和文本数据上的分类性能。为了使BMA在基础模型下变得易于处理，我们引入了可训练的线性分类器，这些分类器将预训练基础模型的冻结特征作为输入。线性分类器上的模型后验告诉我们哪些线性头和冻结特征更适合给定的数据集，从而产生了一种有原则的模型集成方法。此外，我们提出了一种计算成本更低、可优化的模型平均方案（OMA）。在OMA中，我们通过减少我们从集成模型预测中得到的意外程度（预测的期望熵），直接优化模型集成权重，就像BMA中基于模型后验分布的那些权重一样。随着基础模型的快速发展，这些方法将能够纳入未来可能显著更好的基础模型，以提升具有挑战性的分类任务的性能。
引用
@article{arxiv.2505.21857,
title = {Revisiting Bayesian Model Averaging in the Era of Foundation Models},
author = {Mijung Park},
journal= {arXiv preprint arXiv:2505.21857},
year = {2025}
}