MoEITS：简化 MoE-LLM 的绿色 AI 方法
机器学习
2026-04-14 v1 人工智能
性能
摘要
大型语言模型正在改变学术和产业领域的全部应用，吸引了研究人员、专业人士和公众的关注。在追求更强大架构的过程中，受集合模型启发的 Mixture-of-Experts 成为最有效的方法之一。然而，这会导致训练和推理时的高计算负担。为了减少对计算和内存占用的影响以及能源消耗，简化方法变得非常有效。本文提出一种原创算法 MoEITS，用于 MoE-LLM 简化。该算法具有精细的简化特性，基于标准化的信息论框架支撑。从理论和实践角度深入分析了 MoEITS。研究了其计算复杂度。通过设计详尽的实验评估了其在 LLM 简化后的准确率和减小率上的表现。该实验包括对 Mixtral B、Qwen1.5-2.7B 和 DeepSeek-V2-Lite 上应用的前沿 MoE-LLM 剪枝方法进行比较。所做的广泛实验表明，MoEITS 在生成既有效率又计算高效的模型方面优于前沿技术。实现该方法的代码将发布在 https://github.com/luisbalru/MoEITS。
引用
@article{arxiv.2604.10603,
title = {MoEITS: A Green AI approach for simplifying MoE-LLMs},
author = {Luis Balderas and Miguel Lastra and José M. Benítez},
journal= {arXiv preprint arXiv:2604.10603},
year = {2026}
}