基于熵的自适应概率带：自回归语言过程中的相对概率带
计算与语言
2026-03-17 v1
摘要
概率语言生成器理论上被建模为离散随机过程，但标准解码策略（Top-k、Top-p）采用静态截断规则，无法适配自然语言中动态的信息密度。这导致常出现次优权衡：静态边界在高熵创造性生成时过于限制，在低熵逻辑推理时过于宽松。本文将生成过程形式化为通过相对概率流形的轨迹。我们引入 Top-b（自适应相对带采样），通过动态带宽系数严格耦合于模型分布瞬时香氏熵来调节候选集。我们提供理论框架，表明 Top-b 是尾分布的方差最小化算子。在 GPQA 和 GSM8K 基准测试中进行经验验证，表明 Top-b 显著降低生成熵与解码间方差，同时保持具竞争力的推理准确率，有效实现自回归生成的自调节控制系统。
引用
@article{arxiv.2603.14567,
title = {Top-b: Entropic Regulation of Relative Probability Bands in Autoregressive Language Processes},
author = {Deepon Halder and Raj Dabre},
journal= {arXiv preprint arXiv:2603.14567},
year = {2026}
}