使代理完全在潜在空间通信

虽然自然语言是LLM代理通信的事实标准媒介，但它存在根本性限制。将丰富的内部潜在状态下采样为离散标记的过程本质上限制了可以传输信息的深度和细微程度，从而阻碍了协作问题解决。灵感来自 telepathy，即绕过符号语言进行通信，我们提出 Interlat（代理间潜在空间通信），一种利用LLM连续最终隐藏状态作为思维表示进行直接通信的范式（称为潜在通信）。通过潜在空间推理进一步对潜在通信进行学习压缩。实验表明，Interlat 在对比基于微调的链式思维（CoT）提示和单智能体基线时表现更好，即使在异构模型之间也如此，促进了更具探索性的行为，实现了对潜在信息的真正利用。进一步的压缩通过最高可达 24 倍的加速推理，同时通过一种高效信息保护机制保持竞争性能。我们将本工作定位为完全潜在空间代理间通信的可行性研究，结果突出了其潜力，为未来研究提供了宝贵见解。我们的代码已在 https://github.com/XiaoDu-flying/Interlat 上提供。