ATTS：基于共形预测的异步测试时缩放
计算与语言
2026-02-25 v3
摘要
大型语言模型（LLM）受益于测试时缩放，但常受高推理延迟的阻碍。推测解码是加速缩放过程的自然方式；然而，同时沿并行和串行维度进行缩放会带来重大挑战，包括大量的内存绑定执行和同步开销。我们引入 ATTS（异步测试时缩放），一个统计上可保证的自适应缩放框架，遵循假设检验过程来解决这些挑战。通过重新审视算术强度，ATTS 识别出同步是主要瓶颈。它通过在线校准实现异步推理，并提出一种序数分类算法，支持三阶段拒绝采样流水线，沿串行和并行两个轴进行缩放。在 MATH、AMC23、AIME24 和 AIME25 数据集以及多个草稿-目标模型族的实验中，我们表明 ATTS 在测试时缩放中实现了高达 56.7 倍的速度提升和 4.14 倍的吞吐量提升，同时保持对拒绝率的准确控制，降低延迟和内存开销，且不产生精度损失。通过在并行和串行维度同时进行缩放，我们使 1.5B/70B 草稿/目标模型组合在 AIME 数据集上达到了最先进的推理模型 o3-mini (high) 的性能。代码已发布于 https://github.com/menik1126/asynchronous-test-time-scaling。
引用
@article{arxiv.2509.15148,
title = {ATTS: Asynchronous Test-Time Scaling via Conformal Prediction},
author = {Jing Xiong and Qiujiang Chen and Fanghua Ye and Zhongwei Wan and Chuanyang Zheng and Chenyang Zhao and Hui Shen and Hanbo Li and Chaofan Tao and Haochen Tan and Haoli Bai and Lifeng Shang and Lingpeng Kong and Ngai Wong},
journal= {arXiv preprint arXiv:2509.15148},
year = {2026}
}
备注
Accepted by ICLR 2026