多重网格神经架构
计算机视觉与模式识别
2017-05-15 v2 机器学习
神经与进化计算
摘要
我们提出卷积神经网络 (CNN) 的一种多重网格扩展。我们的网络层并非操作于生活在单一空间网格上的表示，而是跨尺度空间、在一个网格金字塔上操作。它们消费多重网格输入并产生多重网格输出；卷积滤波器自身兼具尺度内和跨尺度的范围。这一方面有别于简单的多尺度设计，后者仅在不同尺度上处理输入。从信息流的角度看，一个多重网格网络在空间金字塔上传递消息。其结果是，感受野大小随深度呈指数增长，促进了上下文的快速整合。最关键的是，多重网格结构使网络能够学习内部的注意力与动态路由机制，并利用它们完成现代 CNN 所失败的任务。实验展示了多重网格广泛的性能优势。在 CIFAR 和 ImageNet 分类任务上，在标准 CNN 范式内从单网格切换到多重网格即可提升准确率，同时保持计算和参数高效。多重网格独立于其他架构选择；我们展示了其与残差连接结合的协同效应。多重网格在一个合成语义分割数据集上带来了显著的性能提升。最引人注目的是，相对较浅的多重网格网络能够学会直接执行空间变换任务，而当前的 CNN 则在此类任务上失败。综合来看，我们的结果表明，特征在多重网格金字塔上的连续演化是比现有平坦网格上的 CNN 设计更强大的替代方案。
引用
@article{arxiv.1611.07661,
title = {Multigrid Neural Architectures},
author = {Tsung-Wei Ke and Michael Maire and Stella X. Yu},
journal= {arXiv preprint arXiv:1611.07661},
year = {2017}
}
备注
updated with ImageNet results; to appear at CVPR 2017