深度学习中小卷积核的高阶卷积的高效实现
计算机视觉与模式识别
2024-04-26 v1
摘要
深度卷积神经网络（DCNN）是人工神经网络的一种类别，主要用于计算机视觉任务，如分割和分类。DCNN中广泛使用许多非线性运算，如激活函数和池化策略，以增强其处理不同信号、执行不同任务的能力。概念卷积作为线性滤波器，是DCNN的基本组件，而非线性卷积通常实现为高阶Volterra滤波器。然而，对于Volterra滤波，显著的内存和计算成本是其在DCNN应用中广泛采用的主要限制。本研究提出了一种新方法，用于在DCNN训练的前向和反向传递中以更低的内存和计算成本执行高阶Volterra滤波。所提方法在计算上具有显著优势，优于传统Volterra滤波器实现。此外，基于所提方法，提出了一种新的注意力模块，称为高阶局部注意力块（HLA），并在CIFAR-100数据集上进行测试，显示在分类任务方面具有竞争性的改进。源代码已公开：https://github.com/WinterWen666/Efficient-High-Order-Volterra-Convolution.git
引用
@article{arxiv.2404.16380,
title = {Efficient Higher-order Convolution for Small Kernels in Deep Learning},
author = {Zuocheng Wen and Lingzhong Guo},
journal= {arXiv preprint arXiv:2404.16380},
year = {2024}
}