AOGNets：用于深度学习的组合式语法架构
计算机视觉与模式识别
2019-04-09 v3
摘要
神经架构是提升深度神经网络（DNNs）性能的基础。本文提出深度组合式语法架构，它充分利用了两个世界的优势：语法模型与 DNNs。所提架构以原则性方式将前者的组合性与可重构性，以及后者的丰富特征学习能力结合起来。本文利用 AND-OR 语法（AOG）作为网络生成器，并将所得网络称为 AOGNets。一个 AOGNet 由若干阶段组成，每个阶段由若干 AOG 构建块构成。一个 AOG 构建块将其输入特征图沿特征通道拆分为 N 组，并将其视为一个含 N 个词的句子。然后它在自底向上解析该“句子”以更好地进行特征探索与复用过程中，联合实现短语结构语法与依存语法。它为最先进 DNNs 中发展出的最佳实践提供了统一框架。在实验中，AOGNet 在 CIFAR-10、CIFAR-100 和 ImageNet-1K 分类基准以及 MS-COCO 目标检测与分割基准上进行了测试。在 CIFAR-10、CIFAR-100 和 ImageNet-1K 中，AOGNet 取得了优于 ResNet 及其多数变体、ResNeXt 及其基于注意力的变体（如 SENet、DenseNet 和 DualPathNet）的性能。AOGNet 还利用网络剖分获得了最佳模型可解释性得分。AOGNet 在对抗防御中进一步展现出更好的潜力。在 MS-COCO 中，AOGNet 在 Mask R-CNN 中取得了优于 ResNet 和 ResNeXt 骨干网络的性能。
引用
@article{arxiv.1711.05847,
title = {AOGNets: Compositional Grammatical Architectures for Deep Learning},
author = {Xilai Li and Xi Song and Tianfu Wu},
journal= {arXiv preprint arXiv:1711.05847},
year = {2019}
}
备注
accepted to CVPR2019