神经注意力电路
机器学习
2022-10-20 v2 人工智能
计算机视觉与模式识别
神经与进化计算
机器学习
摘要
近期工作见证了可训练以在多样数据模态上执行任务的通用神经架构的发展。通用模型通常对底层数据结构做很少假设，并已知在大数据 regime 下表现良好。与此同时，人们对以稀疏交互模块表示数据的模块化神经架构日益增长的兴趣。这些模型可以更鲁棒于分布外、计算高效，并能够对的新数据实现样本高效适应。然而，它们往往对数据做特定领域的假设，并在模块行为（即参数化）和连接性（即其布局）如何联合学习方面呈现挑战。在这项工作中，我们引入了一种称为神经注意力电路(NACs)的通用但模块化的神经架构，其在不使用领域知识的情况下联合学习神经模块的参数化和稀疏连接性。NACs 最好被理解为两个联合端到端训练的系统的组合：一个决定模块配置，另一个在输入上执行它。我们定性地证明，NACs 在 NLVR2 数据集上学习到多样且有意义的模块配置，无需额外监督。定量上，我们展示通过以这种方式引入模块化，NACs 在 CIFAR 和 CUBs 数据集上的少样本适应方面比强非模块化基线提高约 10%，在 Tiny ImageNet-R 上的分布外鲁棒性提高约 2.5%。此外，我们发现 NACs 在推理时可实现 8 倍加速，而性能损失小于 3%。最后，我们发现 NACs 在点云分类、符号处理以及来自 ASCII 字节的文本分类等跨越多样数据模态上产生有竞争力结果，从而确认其通用性质。
引用
@article{arxiv.2210.08031,
title = {Neural Attentive Circuits},
author = {Nasim Rahaman and Martin Weiss and Francesco Locatello and Chris Pal and Yoshua Bengio and Bernhard Schölkopf and Li Erran Li and Nicolas Ballas},
journal= {arXiv preprint arXiv:2210.08031},
year = {2022}
}
备注
To appear at NeurIPS 2022