从模型中学习：超越微调的范式

基础模型（FM）在广泛任务（尤其是自然语言处理与计算机视觉领域）中展现出卓越性能，主要归因于其理解指令的能力以及获取大量高质量数据的能力。这不仅展示了其当前的有效性，也为迈向通用人工智能的发展指明了前景广阔的轨迹。遗憾的是，由于多重限制，用于大模型训练的原始数据往往不可访问，因此利用端到端模型处理下游任务已成为新的研究趋势，本文称之为从模型中学习（Learn From Model, LFM）。LFM聚焦于基于模型接口对FM进行研究、修改与设计，以更好地理解模型结构与权重（在黑盒环境下），并将模型泛化至下游任务。LFM技术的研究可宽泛地分为五大领域：模型调优、模型蒸馏、模型复用、元学习与模型编辑。每一类都包含一系列旨在增强FM能力与性能的方法和策略。本文从LFM的视角对当前基于FM的方法进行全面综述，以帮助读者更好地理解当前研究现状与思路。最后，我们通过强调若干未来探索的关键方向并讨论需要研究界进一步关注的开放问题来总结本综述。本文调研的相关论文可在 https://github.com/ruthless-man/Awesome-Learn-from-Model 获取。