动作分块流政策的实时执行

现代 AI 系统，尤其是与物理世界交互的系统，日益需要实现实时性能。然而，当前通用模型（包括最新的视觉语言动作模型 (VLA)）的高延迟是一个重大挑战。虽然动作分块已使高频控制任务实现了时间一致性，但并未完全解决延迟问题，导致在分块边界出现暂停或超出分布的 jerky 动作。本文提出一种新的推理时算法，使动作分块政策实现平滑的异步执行。我们的方法，实时分块 (RTC)，可即插即用于任何基于扩散或流的 VLA，无需重新训练。它在执行当前动作块的同时生成下一个动作块，“冻结”保证可执行的动作，“填色”其余部分。为测试 RTC，我们引入了一个包含 12 个高度动态任务的新基准，同时评估了 6 个具有挑战性的真实世界双手操作任务。结果表明，RTC 快速、高效且对推理延迟具有独特的鲁棒性，显著提高了任务吞吐量，并在精确任务（如点燃火柱）中实现高成功率——即便存在显著延迟亦然。详见 https://pi.website/research/real_time_chunking 查看视频。