基于协同语言与表示建模的指令感知用户嵌入
机器学习
2025-10-14 v1
摘要
用户表示建模日益重要，但现有方法在跨域泛化性差且对噪声行为信号敏感。我们提出 InstructUE，一种指令感知用户嵌入基础模型，利用大语言模型（LLM）生成通用且指令感知的用户表示。InstructUE 引入多编码器架构，配合轻量化适配器高效处理来自六个不同来源的异构数据，同时保留其结构特征。此外，它提出一种新颖的对比自回归训练框架，通过精选的用户问答数据集桥接语言空间与表示空间。对比自回归训练框架同时利用自回归学习捕捉语言空间中的领域知识，以及对比学习对齐用户-文本嵌入于表示空间，从而增强用户嵌入的指令感知性和对噪声的鲁棒性。通过在真实场景下的大规模实验，我们展示 InstructUE 在用户预测、营销和推荐等多个领域显著优于现有方法。我们的结果表明，指令感知的用户建模可有效实现特定场景下用户信息的指令引导去噪，为更通用和稳健的用户表示学习之路。
引用
@article{arxiv.2510.11016,
title = {Instruction-aware User Embedding via Synergistic Language and Representation Modeling},
author = {Ziyi Gao and Yike Xu and Jiahao Yuan and Baokun Wang and Jinyong Wen and Xiaotong Lin and Yun Liu and Xing Fu and Yu Cheng and Yongchao Liu and Weiqiang Wang and Zhongle Xie},
journal= {arXiv preprint arXiv:2510.11016},
year = {2025}
}