参数中的人格：使用低秩适配器微调小型语言模型以模拟用户行为
信息检索
2025-09-15 v1 人工智能
计算与语言
机器学习
摘要
开发准确推荐模型的长期挑战之一是模拟用户行为，主要由于用户交互的复杂且随机的本质。针对这一挑战，一种有前景的研究路径是使用大型语言模型（LLM）来模拟用户行为。然而，将这些通用大型预训练模型与用户偏好对齐需要：（i）有效且持续地解析大规模的用户-物品交互数据、（ii）克服预训练导致的归纳偏差，以准确学习用户特定知识、（iii）以可扩展方式实现前两者，服务于数百万用户。虽然大多数前期工作聚焦于复杂的提示方法或在表格交互数据集上微调 LLM，但我们的研究方法转向使用冻结的 LLM 提取稳健的用户文本表示，并通过微调的小型语言模型（Small Language Model, SLM）构建成本效益高、资源高效的用户代理。进一步，我们展示了一种为用户群体或“人格”(persona)训练多个低秩适配器的方法，在可扩展性与用户行为代理性能之间取得最佳平衡。我们的实验提供了该方法有效性的有力经验依据，表明我们的方法开发的用户代理有望在离线指标与实际应用表现之间架起桥梁。
引用
@article{arxiv.2509.09689,
title = {Personas within Parameters: Fine-Tuning Small Language Models with Low-Rank Adapters to Mimic User Behaviors},
author = {Himanshu Thakur and Eshani Agrawal and Smruthi Mukund},
journal= {arXiv preprint arXiv:2509.09689},
year = {2025}
}