衡量用户提示分布迁移及其对 LLM 性能的影响
计算与语言
2026-04-21 v1
摘要
LLM 正在部署于动态的真实世界环境中，其中用户提示的分布会随着新任务、提示和引入新用户的模型而发生实质性变化。此类自然的提示分布迁移对 LLM 可靠性构成重大挑战，尤其是针对针对狭窄领域或用户群体设计的专用模型。尽管关注了分布外鲁棒性，但在先前工作中几乎没有探索自然提示分布迁移的度量，其对部署 LLM 的影响仍不为人知。我们引入 LLM Evaluation under Natural prompt Shift (LENS) 框架：一种数据中心的方法，用于量化自然提示分布迁移并评估其对部署 LLM 性能的影响。我们进行了大规模评估，使用 192 个真实世界的部署后提示迁移场景（涉及时间、用户组和地理轴向），在 4.68M 训练提示上训练 81 个模型，在 57.6k 提示上进行评估。我们发现，即使是用户提示行为的中等迁移，也对应于部署 LLM 中大幅性能下降（平均损失 73%）。这种性能降解在不同潜在用户组和地理区域的用户与模型交互时尤为常见，并与自然提示分布随时间迁移相关。我们系统性地刻画了 LLM 指令遵循能力随时间和用户组之间的退化。我们的发现凸显了数据驱动监控的关键需求，以确保 LLM 性能在多样化和不断演变的用户群体中保持稳定。
引用
@article{arxiv.2604.17650,
title = {Measuring Distribution Shift in User Prompts and Its Effects on LLM Performance},
author = {Parker Seegmiller and Sarah Masud Preum},
journal= {arXiv preprint arXiv:2604.17650},
year = {2026}
}
备注
Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)