特征乘积构建高效网络
计算机视觉与模式识别
2020-08-19 v1
摘要
我们提出特征乘积网络（FP-nets）作为一种新颖的深度网络架构，其基于受生物视觉原理启发的新构建模块。对于每个输入特征图，所谓的 FP-block 学习两个不同的滤波器，然后将它们的输出相乘。此类 FP-block 受终止型神经元模型的启发，这类神经元在皮层区域 V1 尤其是 V2 中十分常见。通过将常规卷积的传统模块替换为 FP-block，可将卷积神经网络转化为参数高效的 FP-net。以此方式，我们基于最先进的网络创建了若干新颖的 FP-net，并在 Cifar-10 与 ImageNet 挑战上对其进行了评估。我们表明，使用 FP-block 能在不降低泛化能力的前提下显著减少参数量。由于迄今启发式方法与搜索算法被用于寻找更高效的网络，我们基于新颖的受生物启发设计原则即可获得更高效网络，这似乎令人瞩目。
引用
@article{arxiv.2008.07930,
title = {Feature Products Yield Efficient Networks},
author = {Philipp Grüning and Thomas Martinetz and Erhardt Barth},
journal= {arXiv preprint arXiv:2008.07930},
year = {2020}
}