Butterfly-Net：基于卷积神经网络的最优函数表示
数值分析
2020-05-04 v4 机器学习
数值分析
机器学习
摘要
深度网络，尤其是卷积神经网络（CNNs），已成功应用于机器学习诸多领域以及其他科学与工程领域的挑战性问题。本文提出 Butterfly-Net，一种具有结构化稀疏跨通道连接的低复杂度 CNN，以及针对一类网络的 Butterfly 初始化策略。对 Butterfly-Net 逼近输入数据傅里叶表示的逼近能力的理论分析表明，误差随深度增加呈指数衰减。将 Butterfly-Net 与全连接神经网络结合，可证明一大类问题能被良好逼近，且网络复杂度取决于有效频率带宽而非输入维度。常规 CNN 作为特例包含在我们的分析中。数值实验在傅里叶核与泊松方程能量泛函的逼近上验证了分析结果。此外，所有实验均支持从 Butterfly 初始化训练优于从随机初始化训练。同时，添加其余跨通道连接虽显著增加参数数量，却未大幅改善训练后精度，且对数据分布更敏感。
引用
@article{arxiv.1805.07451,
title = {Butterfly-Net: Optimal Function Representation Based on Convolutional Neural Networks},
author = {Yingzhou Li and Xiuyuan Cheng and Jianfeng Lu},
journal= {arXiv preprint arXiv:1805.07451},
year = {2020}
}