当意义不变，模型漂移：基于标记级行为不稳定性评估LLM服务质量
计算与语言
2025-06-13 v1
摘要
我们研究了大语言模型如何响应仅在标记级实现上有所不同但保持相同语义意图的提示，这种现象称为提示方差。我们提出了基于提示的语义位移（Prompt-Based Semantic Shift, PBSS），用于衡量LLM在语义等价提示重写下的行为漂移。应用于十个受限任务后，PBSS揭示了一致且模型特定的响应位移，表明与标记化和解码相关的统计规律性。这些结果突显了模型在重写下评估稳定性的一个被忽视的维度，并表明标记化策略和解码动力学可能导致训练后服务质量不稳定。
引用
@article{arxiv.2506.10095,
title = {When Meaning Stays the Same, but Models Drift: Evaluating Quality of Service under Token-Level Behavioral Instability in LLMs},
author = {Xiao Li and Joel Kreuzwieser and Alan Peters},
journal= {arXiv preprint arXiv:2506.10095},
year = {2025}
}
备注
This paper was developed for presentation at ICML 2025 Tokshop Workshop, but is now submitted as a standalone contribution