PROPER：基于群级适应的面向个性化大语言模型的渐进式学习框架
计算与语言
2025-03-04 v1
摘要
个性化大语言模型（LLM）旨在根据用户偏好调整其输出。近期参数高效微调（PEFT）方法的进展凸显了通过针对用户历史数据对用户特定参数进行微调，以将population-level的LLM适配为个性化LLM的效果。然而，用户数据通常稀疏，导致难以针对特定用户模式进行适配。为此，我们提出PROgressive PERsonalization（PROPER），一种受社会科学中中等水平理论启发的新型渐进式学习框架。PROPER通过基于偏好将用户分组来搭建population-level模型与user-level模型之间的桥梁，并分阶段适配LLM。它将混合专家（Mixture-of-Experts, MoE）结构与低秩适应（Low Ranked Adaptation, LoRA）相结合，采用用户感知路由器自动将用户分配到合适的群组。此外，还提出一种LoRA感知路由器，以促进个别用户LoRA与群级LoRA的集成。实验结果表明，PROPER在多个任务上均显著优于SOTA模型，证明了我们方法的有效性。
引用
@article{arxiv.2503.01303,
title = {PROPER: A Progressive Learning Framework for Personalized Large Language Models with Group-Level Adaptation},
author = {Linhai Zhang and Jialong Wu and Deyu Zhou and Yulan He},
journal= {arXiv preprint arXiv:2503.01303},
year = {2025}
}