通过向量翻译实现大型语言模型间的直接语义通信

在多智能体场景中，如辩论、反思或工具调用中，大型语言模型（LLM）以纯 token 形式传递消息，丢弃了大部分潜在语义。这限制了信息传递并增加了不必要的计算开销。我们通过向量翻译构建了一个潜在桥梁，利用学习到的映射实现表示空间之间的直接语义交换。在 Llama-2-7B 和 Mistral-7B-Instruct 之间训练的双编码器翻译器实现了 0.538 的平均余弦对齐。将翻译后的向量以 30% 的混合强度注入，可在不 destabilize logits 的情况下引导目标模型的生成。双向评估显示 2.01:1 的传输不对称，表明通用模型比指令调优模型的表示更具可传递性。这一保守注入方式保持了计算稳定性，同时证明了跨模型的潜在通信是可行的，使 collaborative AI 系统能够共享语义而非 token。