ARMA 网络：扩展密集预测的感知域
计算机视觉与模式识别
2020-09-28 v2 机器学习
机器学习
摘要
全局信息对于密集预测问题至关重要，其目标是为图像中每个像素计算离散或连续标签。神经网络中传统为图像分类设计的卷积层在这些问题中受限，因为滤波器大小限制了其感知域。本工作中，我们提出以自回归移动平均（ARMA）层替换任何传统卷积层，这是一种具有由可学习自回归系数控制的可调感知域的新颖模块。相比传统卷积层，我们的 ARMA 层实现了输出神经元的显式互联，并通过自适应这些互联的自回归系数来学习其感知域。ARMA 层可适配不同类型任务：对于全局信息至关重要的任务，它能够学习相对较大的自回归系数，使输出神经元的感知域覆盖整个输入；对于仅需局部信息的任务，它可以学习较小或近零的自回归系数并自动退化为传统卷积层。我们从理论与经验上表明，带有 ARMA 层（称为 ARMA 网络）的网络的有效感知域随自回归系数增大而扩展。我们还通过重参数化机制可证明地解决了 ARMA 层中学习与预测的不稳定性问题。此外，我们展示了 ARMA 网络在包括视频预测与语义分割在内的极具挑战的密集预测任务上大幅改进了其基线。
引用
@article{arxiv.2002.11609,
title = {ARMA Nets: Expanding Receptive Field for Dense Prediction},
author = {Jiahao Su and Shiqi Wang and Furong Huang},
journal= {arXiv preprint arXiv:2002.11609},
year = {2020}
}