针对多样化用户行为进行鲁棒预测的语言模型调优
计算与语言
2026-04-14 v2 人工智能
摘要
预测用户行为是智能助理服务的关键任务，但深度学习模型常常难以捕捉长尾行为。大型语言模型（LLM）凭借在广泛语料库上的预训练，蕴含丰富的行为知识，展现了潜力。然而，现有的微调方法倾向于过度拟合频繁的“锚”行为，降低对预测较少见“尾”行为的能力。本文引入 BehaviorLM，一种渐进式微调方法，以解决此问题。在第一阶段，对语言模型在保持通用行为知识的基础上对锚行为进行微调。在第二阶段，基于样本难度的平衡子集进行微调，提升尾行为预测能力而不牺牲锚行为性能。在两个真实数据集上的实验结果表明，BehaviorLM 能稳健地预测锚行为和尾行为，有效利用 LLM 的行为知识，以少量样本掌握尾行为预测。
引用
@article{arxiv.2505.17682,
title = {Tuning Language Models for Robust Prediction of Diverse User Behaviors},
author = {Fanjin Meng and Jingtao Ding and Jiahui Gong and Chen Yang and Hong Chen and Zuojian Wang and Haisheng Lu and Yong Li},
journal= {arXiv preprint arXiv:2505.17682},
year = {2026}
}