LaneRoPE：用于协作式并行推理与生成的位置编码
人工智能
2026-05-28 v1
摘要
并行 LLM 测试时扩展技术（如 best-of-）需要在相同的输入提示下绘制 个序列，这些方法在利用批处理 个生成的计算效率方面提升准确率。然而，批处理中的每个序列传统上是独立生成的，因而未能复用其他序列的中间生成、计算或观察。在本文中，我们提出 LaneRoPE 以实现 个序列在生成时的协调与合作。LaneRoPE 包含两个关键思想：(a) 序列间注意力掩码以使序列抽样彼此依赖；(b) RoPE 扩展注入捕获单个序列内外令牌相对位置信息的位置信息。我们在数学推理任务上评估了该方法，发现结果鼎舞：LaneRoPE 使序列间合作成为可能，在受限生成序列长度下获得额外准确率提升。重要的是，LaneRoPE 通过最小修改底层 LLM 架构并在推理时引入可忽略的开销，即可实现协调，因而易于快速集成到现有 LLM 推理管道中。
引用
@article{arxiv.2605.27570,
title = {LaneRoPE: Positional Encoding for Collaborative Parallel Reasoning and Generation},
author = {Gabriele Cesa and Thomas Hehn and Aleix Torres-Camps and Àlex Batlle Casellas and Jordi Ros-Giralt and Arash Behboodi and Tribhuvanesh Orekondy},
journal= {arXiv preprint arXiv:2605.27570},
year = {2026}
}