HYDRA：面向黑盒大语言模型个性化的模型分解框架
计算与语言
2024-10-29 v3 人工智能
机器学习
摘要
个性化已成为现代智能系统中的一个关键研究领域，专注于挖掘用户行为历史并适应用户偏好以提供定制化体验。尽管黑盒大语言模型（LLM）展现出显著的少样本能力，但其模型参数固有的不透明性给生成输出与个体期望的对齐带来了重大挑战。现有解决方案主要集中于提示设计以融入用户特定的档案和行为；然而，由于无法捕捉所有用户之间的共享知识，这些方法往往难以有效泛化。为应对这些挑战，我们提出了HYDRA，一个模型分解框架，它从历史数据中捕捉用户特定的行为模式，同时捕捉所有用户之间的共享通用知识，以提供个性化生成。为了捕捉用户特定的行为模式，我们首先训练一个重排序器，从检索到的相关历史记录中优先选择最有用的信息。通过将优先排序的历史与相应查询结合，我们训练一个适配器，使输出与个体用户特定偏好对齐，消除了对黑盒LLM内在模型参数的访问依赖。重排序器和适配器都可以分解为一个基础模型和多个用户特定头部，类似于九头蛇。基础模型维护用户间的共享知识，而多个个性化头部捕捉用户特定偏好。实验结果表明，HYDRA在LaMP基准的五个不同个性化任务上，平均相对改进9.01%，优于现有最先进的基于提示的方法。我们的实现可在https://github.com/night-chen/HYDRA获取。
引用
@article{arxiv.2406.02888,
title = {HYDRA: Model Factorization Framework for Black-Box LLM Personalization},
author = {Yuchen Zhuang and Haotian Sun and Yue Yu and Rushi Qiang and Qifan Wang and Chao Zhang and Bo Dai},
journal= {arXiv preprint arXiv:2406.02888},
year = {2024}
}
备注
Accepted in NeurIPS'24