查询作为锚点：基于大型语言模型的场景自适应用户表征
计算与语言
2026-02-18 v2 信息检索
摘要
工业规模的用户表征学习需要在鲁棒的普适性与精准的任务敏感性之间取得平衡。然而，现有方法主要产生静态、任务中性的嵌入，难以在统一的向量空间中协调下游场景的差异化需求。此外，异构多源数据引入内在噪声和模态冲突，降低表征质量。我们提出查询作为锚点（Query-as-Anchor）框架，构建用户建模从静态编码转向动态、查询感知的合成。为赋予大型语言模型（LLM）深入的用户理解能力，我们首先构建 UserU 数据集，使多模态行为序列与用户理解语义对齐。我们的 Q-Anchor 嵌入架构通过联合对比-自回归优化，将层次化粗到细编码器集成到双塔 LLM 中，用于查询感知的用户表征。为弥合通用预训练与特定业务逻辑之间的差距，我们进一步引入基于聚类的软提示调优，以强制判别性潜在结构，有效将模型注意力与场景特定模态对齐。对于部署， 在序列末端锚定查询可实现 KV 缓存加速推理，延迟贡献可忽略不计。在 10 个支付宝工业基准测试中，评估显示其持续达到 SOTA 水平，具备强大的可扩展性和高效的部署能力。大规模线上 A/B 测试在支付宝的两个真实场景中进一步验证了其实际效果。我们的代码已准备好公开发布，地址为：https://github.com/JhCircle/Q-Anchor。
引用
@article{arxiv.2602.14492,
title = {Query as Anchor: Scenario-Adaptive User Representation via Large Language Model},
author = {Jiahao Yuan and Yike Xu and Jinyong Wen and Baokun Wang and Ziyi Gao and Xiaotong Lin and Yun Liu and Xing Fu and Yu Cheng and Yongchao Liu and Weiqiang Wang and Zhongle Xie},
journal= {arXiv preprint arXiv:2602.14492},
year = {2026}
}
备注
15 pages, 12 figures