MTA：面向个性化大语言模型的合并-适应框架
计算与语言
2025-11-27 v2
摘要
个性化大语言模型（PLLMs）旨在对模型输出与个体用户偏好进行对齐，这是面向用户导向应用的关键能力。然而，针对每个用户独立微调模块的常用方法面临两个主要限制：（1）存储成本随用户数量线性增长，导致方法不可扩展；（2）从零对静态模型进行微调往往在数据稀疏的用户身上获得次优性能。为此，我们提出了MTA（Merge-then-Adapt）框架，用于PLLMs。MTA包含三个关键阶段：首先，我们通过挑选锚定用户并在meta-LoRA模块中预训练元个人化特征，构建共享的Meta-LoRA Bank。其次，为保证可扩展性并支持超越静态模型的动态个人化组合，我们引入自适应LoRA融合阶段。该阶段检索并动态合并最相关的锚定meta-LoRAs，以合成用户专属的LoRA，从而消除用户专属存储的需求，并支持更灵活的个人化。第三，我们提出针对少样本个人化的LoRA堆叠阶段，在合并后的LoRA之上应用额外的超低秩、轻量级LoRA模块。对该模块进行微调，可在少样本设置下实现有效的个人化。大量实验表明，在LaMP基准测试上，我们的方法在多个任务上均优于现有SOTA方法。
引用
@article{arxiv.2511.20072,
title = {MTA: A Merge-then-Adapt Framework for Personalized Large Language Model},
author = {Xiaopeng Li and Yuanjin Zheng and Wanyu Wang and wenlin zhang and Pengyue Jia and Yiqi Wang and Maolin Wang and Xuetao Wei and Xiangyu Zhao},
journal= {arXiv preprint arXiv:2511.20072},
year = {2025}
}