上下文门控卷积
计算机视觉与模式识别
2020-07-20 v4 计算与语言
摘要
作为卷积神经网络（CNNs）的基本构建块，卷积层旨在提取局部模式，本质上缺乏建模全局上下文的能力。近期许多工作致力于补充 CNNs 的全局建模能力，尤其是一系列全局特征交互的工作。这些工作中，全局上下文信息在局部特征输入卷积层前被融入其中。然而，神经科学研究揭示神经元根据上下文动态修改自身功能的能力对感知任务至关重要，而这一点在大多数 CNNs 中被忽视。受此启发，我们提出一种新颖的上下文门控卷积（CGC）以在全局上下文引导下显式自适应修改卷积层权重。如此，感知全局上下文的调制卷积核能更好提取具代表性的局部模式并组合判别性特征。此外，我们提出的 CGC 轻量且适用于现代 CNN 架构，并在图像分类、动作识别与机器翻译的大量实验中持续提升 CNNs 性能。本文代码见 https://github.com/XudongLinthu/context-gated-convolution。
引用
@article{arxiv.1910.05577,
title = {Context-Gated Convolution},
author = {Xudong Lin and Lin Ma and Wei Liu and Shih-Fu Chang},
journal= {arXiv preprint arXiv:1910.05577},
year = {2020}
}
备注
ECCV 2020 camera ready version with appendix