中文

善良的代理人不仅会给出言语建议:他们可以更新您的权重

计算与语言 2026-05-14 v1

摘要

多代理 LLM 系统通常通过交换自然语言消息进行协作。这种接口简单且可解释,但强制将每个发送者的中间计算序列化为标记并由接收者重新处理,从而增加生成标记成本、预填开销和 KV 缓存内存。我们研究了另一种通信接口:不将发送者的消息附加到接收者的上下文中,而是将发送者的隐藏状态编译为针对接收者的 transient、特定于接收者的权重扰动。我们引入了 TFlow(Thought Flow),一种用于已知且固定接收者架构的权重空间通信框架。对于每个查询,冻结的角色提示发送代理处理输入,学习参数生成器将其内部激活映射为面向接收者模块的低秩 LoRA 扰动。这些扰动被融合并仅在接收者生成期间应用,实现无需永久更改模型或增大接收者文本上下文的实例级适应。使用三个 Qwen3-4B 代理,TFlow 在五个基准测试中相对于独立接收者提升最高可达 8.5 个准确度点,同时将处理标记数降低最高可达 32.69%。相对于基于文本的三代理基线,TFlow 将总处理标记数降低最高可达 83.27%,推理时间缩短最高可达 4.6 倍,同时在四个五个基准测试中保持有竞争力的准确度。这些结果表明,瞬时低秩权重扰动可作为高效多代理 LLM 协作的可执行通信介质。

关键词

引用

@article{arxiv.2605.13839,
  title  = {Good Agentic Friends Do Not Just Give Verbal Advice: They Can Update Your Weights},
  author = {Wenrui Bao and Huan Wang and Jian Wang and Zhangyang Wang and Kai Wang and Yuzhang Shang},
  journal= {arXiv preprint arXiv:2605.13839},
  year   = {2026}
}