CoVeR：面向通用可靠自回归下一词元预测的共形校准
机器学习
2025-09-08 v1 人工智能
摘要
自回归预训练模型结合解码方法在复杂推理任务上取得了令人瞩目的性能。尽管束搜索等主流解码策略能够生成合理的候选集，但它们通常缺乏可证明的覆盖率保证，并且难以在搜索效率与对多样化轨迹的需求之间取得有效平衡，尤其是那些在某些现实世界应用中至关重要的长尾序列。为了解决这些局限性，我们提出了 CoVeR，一种在共形预测框架内的无模型解码策略，它能够同时保持紧凑的搜索空间并确保对理想轨迹的高覆盖概率。在理论上，我们建立了一个 PAC 风格的泛化界，保证 CoVeR 对于任意目标水平 渐近地达到至少 的覆盖率。
引用
@article{arxiv.2509.04733,
title = {CoVeR: Conformal Calibration for Versatile and Reliable Autoregressive Next-Token Prediction},
author = {Yuzhu Chen and Yingjie Wang and Shunyu Liu and Yongcheng Jing and Dacheng Tao},
journal= {arXiv preprint arXiv:2509.04733},
year = {2025}
}