使用分位数令牌和邻居上下文的文本到分布预测
计算与语言
2026-04-23 v1
摘要
许多基于大语言模型的文本回归应用需要预测完整的条件分布，而非单一的数值。我们研究了在经验分位数监督下的分布回归，其中每个输入与多个观测到的分位数结果配对，目标分布由一个密集的分位数网格表示。我们解决了当前方法的两个关键局限性：分布估计缺乏局部基础，以及依赖共享表示在输入和分位数输出之间造成间接瓶颈。在本文中，我们引入了分位数令牌回归，据我们所知，这是首次将专用的分位数令牌插入输入序列的工作，通过自注意力机制为每个分位数建立直接的输入-输出通路。我们进一步通过检索来增强这些分位数令牌，纳入语义相似的邻居实例及其经验分布，从而利用来自相似实例的局部证据来为预测提供基础。我们还首次对分位数回归的损失函数进行了理论分析，阐明了每个损失函数所优化的分布目标。在 Inside Airbnb 和 StackSample 基准数据集上，使用参数规模从 1.7B 到 14B 的大语言模型进行的实验表明，带有邻居信息的分位数令牌始终优于基线方法（MAPE 降低约 4 个百分点，预测区间宽度缩小 2 倍），在较小且更具挑战性的数据集上收益尤为显著，分位数令牌能产生更清晰、更准确的分布。
引用
@article{arxiv.2604.20216,
title = {Text-to-Distribution Prediction with Quantile Tokens and Neighbor Context},
author = {Yilun Zhu and Yuan Zhuang and Nikhita Vedula and Dushyanta Dhyani and Shaoyuan Xu and Moyan Li and Mohsen Bayati and Bryan Wang and Shervin Malmasi},
journal= {arXiv preprint arXiv:2604.20216},
year = {2026}
}
备注
Accepted to ACL 2026 main conference