通过前馈设计实现可解释卷积神经网络
计算机视觉与模式识别
2018-10-23 v2
摘要
卷积神经网络(CNN)的模型参数由反向传播(BP)确定。本工作中,我们提出一种无需任何BP的可解释前馈(FF)设计作为参照。FF设计采用以数据为中心的方法,以前向单遍方式基于前一层输出的数据统计导出当前层的网络参数。为构建卷积层,我们发展了一种称为Saab(带调整偏置的子空间近似)变换的新信号变换。它是主成分分析(PCA)的变体,增加了偏置向量以消除激活的非线性。级联多个Saab变换即产生多个卷积层。至于全连接(FC)层,我们使用多级线性最小二乘回归器(LSR)的级联来构造。我们比较了应用于MNIST和CIFAR-10数据集的BP设计与FF设计CNN的分类及鲁棒性(对抗对抗攻击)性能。最后,我们评论了BP与FF设计之间的关系。
引用
@article{arxiv.1810.02786,
title = {Interpretable Convolutional Neural Networks via Feedforward Design},
author = {C. -C. Jay Kuo and Min Zhang and Siyang Li and Jiali Duan and Yueru Chen},
journal= {arXiv preprint arXiv:1810.02786},
year = {2018}
}
备注
32 pages