具有生物学启发式固定路由的条件重叠专家
机器学习
2025-02-13 v6
摘要
生物神经系统的演化导致模块化和稀疏编码，这使其能够在生命周期内实现能源效率和鲁棒性。相比之下，标准神经网络依赖密集、非专业化的架构，其中所有模型参数同时更新以学习多个任务，导致相互干扰。当前稀疏神经网络方法旨在缓解此问题，但受限于以下限制：1）导致表示坍缩的可训练门控函数；2）导致冗余计算和缓慢学习的互斥专家；3）依赖显式输入或任务 ID，限制了灵活性和可扩展性。本文提出条件重叠混合专家（Conditionally Overlapping Mixture of ExperTs, COMET），一种通用深度学习方法，通过在单个输入表示上施加固定、受生物学启发的随机投影来诱导模块化稀疏架构，从而产生指数级的重叠专家。COMET 将稀疏混合专家中使用的可训练门控函数替换为固定的生物学启发式随机投影。这种设计使得专家重叠度取决于输入相似性，因此相似的输入倾向于共享更多参数。这导致每个更新步骤的学习速度更快，改进的样本外泛化性能。我们在多个任务上展示了 COMET 的有效性，包括图像分类、语言建模和回归，使用几种流行的深度学习架构。
引用
@article{arxiv.2410.08003,
title = {More Experts Than Galaxies: Conditionally-overlapping Experts With Biologically-Inspired Fixed Routing},
author = {Sagi Shaier and Francisco Pereira and Katharina von der Wense and Lawrence E Hunter and Matt Jones},
journal= {arXiv preprint arXiv:2410.08003},
year = {2025}
}
备注
Published as a conference paper at ICLR 2025