模型扩散用于可证明的少样本迁移学习
机器学习
2025-05-29 v2 机器学习
摘要
在当代深度学习中，解决低数据问题的常见且有效的工作流程是通过参数高效微调(PEFT)来适配强大的预训练基础模型(FMs)。然而，尽管结果在经验上有效，但缺乏对其准确性的一般化保证——这可能是出于伦理或法律原因，在部署于高重要性应用之前所必需的。在本文中，我们发展了一种新的迁移学习方法，旨在促进下游任务在少样本情境下的非空洞学习理论一般化保证。具体而言，我们首先使用上游任务训练一个关于PEFT参数的分布。随后通过抽样评估程序来学习下游任务——从训练好的扩散模型中抽取合理的PEFT样本，并选择在下游数据上似然性最高的那个。关键在于，这将我们的模型假设限制在一个有限的PEFT样本集合中。与典型的神经网络权重连续假设空间相比，这有助于获得更紧致的风险证明。我们实现了该上界，并在与现有学习方法相比（这些方法在少样本情境下导致空洞的界限）时，展示了非平凡的一般化保证。
引用
@article{arxiv.2502.06970,
title = {Model Diffusion for Certifiable Few-shot Transfer Learning},
author = {Fady Rezk and Royson Lee and Henry Gouk and Timothy Hospedales and Minyoung Kim},
journal= {arXiv preprint arXiv:2502.06970},
year = {2025}
}