MetaMoE：面向隐私保护混合专家统一的多样性感知代理选择
机器学习
2026-05-15 v1 人工智能
计算与语言
密码学与安全
摘要
混合专家（Mixture-of-Experts, MoE）模型通过结合专业化专家来扩展容量，但现有大多数方法假设对训练数据进行集中式访问。在实际应用中，数据分布在各客户端且因隐私约束无法共享，这使得统一的 MoE 训练极具挑战。我们提出 MetaMoE，这是一个隐私保护框架，利用公开代理数据作为不可访问私有数据的替代，将独立训练的领域专业化专家统一为单一 MoE。MetaMoE 的核心是多样性感知代理选择，它从公开数据中选取与客户端领域相关且多样的样本，以有效近似私有数据分布并监督路由器学习。这些代理进一步用于对齐专家训练，提升统一时的专家协调能力，同时上下文感知路由器增强了异构输入间的专家选择。在计算机视觉和自然语言处理基准上的实验表明，MetaMoE 始终优于近期隐私保护 MoE 统一方法。代码可在 https://github.com/ws-jiang/MetaMoE 获取。
引用
@article{arxiv.2605.14289,
title = {MetaMoE: Diversity-Aware Proxy Selection for Privacy-Preserving Mixture-of-Experts Unification},
author = {Weisen Jiang and Shuhao Chen and Sinno Jialin Pan},
journal= {arXiv preprint arXiv:2605.14289},
year = {2026}
}
备注
Accepted by ICML 2026