StreamProfileBench:面向真实流式场景的粗粒度用户画像推断基准
计算与语言
2026-05-27 v2
摘要
大型语言模型 (LLM) 已重塑了用户画像,但当前评估主要关注静态数据快照。这一范式忽略了个性化系统中用户生成内容 (UGC) 持续到达且粗粒度画像快速演变的现实情况。为弥合这一差距,我们引入StreamProfileBench,这是一个用于粗粒度流式用户画像的大规模基准。我们将流式用户画像形式化为持续状态维护任务,并构建包含超过120,000篇来自7,000多名真实用户的UGC post的高保真数据集,覆盖五个多样化平台。通过利用用户兴趣的时间相关性,我们进一步提出了一种新型、无标注的评估框架。广泛的实验在14个领先的LLM上显示,持续的画像更新仍是开放性挑战。模型表现出系统性的保守偏差,过度保留过去的兴趣,却未能识别兴趣的衰减。消融实验进一步验证了流式范式的实际实用性和必要性。
引用
@article{arxiv.2605.25758,
title = {StreamProfileBench: A Benchmark for Fine-Grained User Profile Inference in Real-World Streaming Scenarios},
author = {Sizhe Wang and Feiyu Duan and Juelin Wang and Liwen Zhang and Zhongyu Wei},
journal= {arXiv preprint arXiv:2605.25758},
year = {2026}
}