神经抑制改进动态路由与混合专家

为了有效、高效且多样化，深度学习模型需要根据来自神经元群体的信号动态选择其体系结构。我们假设，动态路由模型可以通过神经抑制来改进这些神经元群体中的信号。这意味着可以抑制各种数据统计模式中常被共享的信号，以便路由模型为每个数据样本选择专业化的专家路径。只有通过抑制，路由机制才能有效选择神经通路。我们认为这是一种在混合专家、动态路由和变压器语言模型中尚未充分研究和验证的实现方法。我们提供的实验证据表明，神经抑制算法显著提升了通用任务的性能，并激励更多投入到这一研究方向。