面向设备端用户意图预测的预训练语言模型群体到个体调谐框架
机器学习
2024-08-20 v1 人机交互
摘要
移动设备，尤其是智能手机，支持丰富的功能，已成为日常生活中不可或缺的工具。随着生成式AI服务的兴起，智能手机有望转变为个性化助手，预测用户需求并据此调度服务。在智能手机上预测用户意图，并基于过去的交互和上下文反映预期活动，是实现这一愿景的关键步骤。现有研究主要聚焦于特定领域，忽视了建模动态上下文中多样化事件序列的挑战。利用预训练语言模型(PLM)是一条有前景的途径，但将PLM适配到设备端用户意图预测面临重大挑战。为应对这些挑战，本文提出PITuning（群体到个体调谐框架）。PITuning通过动态事件到意图转换建模增强共性模式提取，并通过自适应遗忘策略解决长尾偏好问题。在真实数据集上的实验结果验证了PITuning在用户意图预测上的优越性能，突显了其捕捉长尾偏好的能力以及用于设备端预测场景的实用性。
引用
@article{arxiv.2408.09815,
title = {A Population-to-individual Tuning Framework for Adapting Pretrained LM to On-device User Intent Prediction},
author = {Jiahui Gong and Jingtao Ding and Fanjin Meng and Guilong Chen and Hong Chen and Shen Zhao and Haisheng Lu and Yong Li},
journal= {arXiv preprint arXiv:2408.09815},
year = {2024}
}
备注
accepted by KDD 2024