模块化至关重要：学习不变关系推理任务
机器学习
2018-06-19 v1 神经与进化计算
神经元与认知
机器学习
摘要
我们关注两个有监督视觉推理任务，其标签对图像中两个或多个对象之间的语义关系规则进行编码：MNIST 奇偶任务与着色五联骨牌任务。图像中的对象经历随机平移、缩放、旋转与着色变换。因此这些任务涉及不变关系推理。我们报告了多种深度 CNN 模型在这两个任务上不均衡的表现。对于 MNIST 奇偶任务，我们报告 VGG19 模型明显优于一系列 ResNet 模型。此外，ResNet 模型系列在 MNIST 奇偶任务上对随机初始化表现出普遍敏感性。对于着色五联骨牌任务，如今 VGG19 与 ResNet 模型均表现出迟缓的优化与极差的测试泛化，测试误差徘徊在 30% 左右。我们所测试的 CNN 均学习完全分布式特征的层次结构，从而编码了分布式表征先验。我们受认知神经科学中一个假设的启发，该假设认为人类视觉皮层是模块化的，这使得视觉皮层能够学习更高阶不变性。为此，我们考虑 ResNet 模型的一个模块化变体，称为残差混合网络（ResMixNet），其采用混合专家架构将分布式表征与更专门化的模块化表征交织。我们展示极浅的 ResMixNet 能够良好地学习上述两个任务，在 MNIST 奇偶与着色五联骨牌任务上分别达到低于 2% 与 1% 的测试误差。最重要的是，ResMixNet 模型参数极度高效：泛化优于参数数量超过其 10 倍的各种非模块化 CNN。这些实验结果支持了模块化是学习不变关系推理的鲁棒先验这一假设。
引用
@article{arxiv.1806.06765,
title = {Modularity Matters: Learning Invariant Relational Reasoning Tasks},
author = {Jason Jo and Vikas Verma and Yoshua Bengio},
journal= {arXiv preprint arXiv:1806.06765},
year = {2018}
}
备注
Modified abstract to fit arXiv character limit