TalkLoRA：面向大语言模型的通信感知低秩自适应混合方法
机器学习
2026-04-14 v1 人工智能
摘要
低秩自适应（LoRA）实现了大语言模型（LLM）的参数高效微调，近期的混合专家（MoE）扩展进一步通过动态组合多个 LoRA 专家增强了灵活性。然而，现有的 MoE 增强 LoRA 方法假设专家独立运行，往往导致不稳定的路由和专家主导。在本文中，我们提出了 TalkLoRA，一个通信感知的 MoELoRA 框架，通过引入路由前的专家级通信来放松这一独立性假设。TalkLoRA 为低秩专家配备了一个轻量级的通信模块，使专家子空间之间能够进行受控的信息交换，从而为路由产生更稳健的全局信号。理论上，我们证明了专家通信通过抑制扰动放大来平滑路由动态，同时严格泛化了现有的 MoELoRA 架构。经验上，TalkLoRA 在多样化的语言理解和生成任务上持续优于 vanilla LoRA 和 MoELoRA，在可比参数预算下实现了更高的参数效率和更均衡的专家路由。这些结果凸显了结构化专家通信作为基于 MoE 的参数高效适配的一项原则性且有效的增强。代码可在 https://github.com/why0129/TalkLoRA 获取。
引用
@article{arxiv.2604.06291,
title = {TalkLoRA: Communication-Aware Mixture of Low-Rank Adaptation for Large Language Models},
author = {Lin Mu and Haiyang Wang and Li Ni and Lei Sang and Zhize Wu and Peiquan Jin and Yiwen Zhang},
journal= {arXiv preprint arXiv:2604.06291},
year = {2026}
}