块操作：利用模块化路由提升组合泛化能力
机器学习
2024-08-02 v1
摘要
我们提出了一个假设，即神经网络中组合泛化能力差是由于学习有效路由的困难所致。为解决这一问题，我们提出了块操作的概念，其基于将网络中所有激活张量分割为均匀大小的块，并利用归纳偏置来鼓励对这些块的模块化路由和修改。基于这一概念，我们引入了多路复用器（Multiplexer），一种新的架构组件，用于增强前馈神经网络（FNN）。实验证实，多路复用器展现出强大的组合泛化能力。在合成任务和真实任务上，我们的模型能够学习任务背后的底层过程，而FNN和Transformer只能学习启发式近似。我们提出未来工作将利用块操作的原理来改进其他现有架构。
引用
@article{arxiv.2408.00508,
title = {Block-Operations: Using Modular Routing to Improve Compositional Generalization},
author = {Florian Dietz and Dietrich Klakow},
journal= {arXiv preprint arXiv:2408.00508},
year = {2024}
}