稳健长度预测：来自重尾提示条件分布的视角
机器学习
2026-04-10 v1
摘要
输出长度预测对 LLM 服务至关重要，因为它直接影响批处理、内存预留和调度。对于仅基于提示的长度预测，现有方法通常使用单次抽样得到的长度作为标签，隐式地将每个提示视为具有唯一目标长度。我们指出，这种做法不可靠：即使在固定模型和解码设置下，相同的提示仍会诱导\emph{提示条件输出长度分布}，而非确定性标量，且该分布符合\emph{重尾}行为。针对这一发现，我们将长度预测建模为从重尾提示条件长度分布中进行稳健估计。我们提出了提示条件长度分布(ProD)方法，通过构建来自多个独立生成的同一提示的训练目标。开发了两种变体以复用所服务 LLM 的隐藏状态：ProD-M 采用基于中位数的目标进行稳健点预测，ProD-D 采用保留提示条件不确定性的分布目标。我们通过分析在替代模型下的估计误差，提供了理论依据。实验在多种场景下均显示出一致的预测质量提升。
引用
@article{arxiv.2604.07931,
title = {Robust Length Prediction: A Perspective from Heavy-Tailed Prompt-Conditioned Distributions},
author = {Jing Wang and Yu-Yang Qian and Ke Xue and Chao Qian and Peng Zhao and Zhi-Hua Zhou},
journal= {arXiv preprint arXiv:2604.07931},
year = {2026}
}