Seer：用于快速同步 LLM 强化学习的在线上下文学习

强化学习 (RL) 已成为推动现代大型语言模型 (LLM) 进步的关键技术，但现有的同步 RL 系统面临严重的性能瓶颈。推送阶段在端到端迭代时间中占据主导地位，由于工作负载不平衡， suffers from 显著的长尾延迟和资源利用率差异。我们提出 Seer，一种新的上下文学习 RL 系统，通过关键观察实现这些挑战：共享相同提示的请求在输出长度和响应模式方面存在强大的相似性。利用这一洞察，Seer 引入三个协调技术：(1) 分割推送以实现动态负载平衡，(2) 基于上下文的调度以缓解长尾请求延迟，(3) 自适应分组投机解码以加速生成。这些机制共同显著减少了长尾延迟并提高了推送期间的资源效率。在生产级 RL 工作负载上的评估表明，Seer 相对于最先进的同步 RL 系统实现了最高可达 2.04$\times$ 的端到端推送吞吐量提升，同时将长尾延迟降低 72-94%。