稠密 xUnit 网络
计算机视觉与模式识别
2018-11-28 v1
摘要
深度网络架构在过去几年中不断演进，导致在广泛的计算机视觉任务中取得显著进展。然而，除了高精度外，许多应用还需要低计算负载和有限的内存占用。迄今为止，效率通常通过在宏观层面的架构选择（例如使用跳跃连接或剪枝技术）或在单个层层面的修改（例如使用深度可分离卷积或通道混洗操作）来实现。有趣的是，在构建高效网络方面，激活函数的作用很少受到关注。最近，Kligvasser 等人表明，在激活函数内加入空间连接，可在任何给定参数预算下显著提升图像复原任务的性能。然而，他们的 xUnit 模块的有效性仅在简单的小模型上进行了测试，这些模型并不具有高层视觉任务中所用模型的代表性。在本文中，我们采用并改进 xUnit 激活，展示如何将其纳入 DenseNet 架构，并说明其在分类和图像复原任务中的高效性。虽然 DenseNet 架构本身极为高效，我们的稠密 xUnit 网络（DxNet）通常能以少得多的参数达到相同性能。例如，在 ImageNet 上，我们的 DxNet 优于参数多 30% 的基于 ReLU 的 DenseNet，并在该参数预算下取得最先进（SOTA）结果。此外，在去噪和超分辨率中，DxNet 显著优于所有现有的轻量解决方案，包括 Kligvasser 等人的基于 xUnit 的网络。
引用
@article{arxiv.1811.11051,
title = {Dense xUnit Networks},
author = {Idan Kligvasser and Tomer Michaeli},
journal= {arXiv preprint arXiv:1811.11051},
year = {2018}
}