Butterfly-Net2:简化版 Butterfly-Net 与傅里叶变换初始化
机器学习
2020-05-21 v3 数值分析
数值分析
机器学习
摘要
利用问题先验信息设计的结构化 CNN 在求解偏微分方程及信号处理中的逆问题等各类任务中,相比传统 CNN 有望提高效率。本文引入 BNet2,一种简化版的 Butterfly-Net,且与传统 CNN 一致。此外,针对 BNet2 和 CNN 提出了一种傅里叶变换初始化方法,可保证表示傅里叶变换算子的逼近能力。实验上,BNet2 与傅里叶变换初始化策略在多种任务上进行了测试,包括逼近傅里叶变换算子、线性和非线性偏微分方程的端到端求解器,以及一维信号的去噪与去模糊。在所有任务中,相同初始化下 BNet2 取得与 CNN 相近的精度,但参数量更少。且经傅里叶变换初始化的 BNet2 和 CNN 相比随机初始化的 CNN consistently 提升了训练与测试精度。
引用
@article{arxiv.1912.04154,
title = {Butterfly-Net2: Simplified Butterfly-Net and Fourier Transform Initialization},
author = {Zhongshu Xu and Yingzhou Li and Xiuyuan Cheng},
journal= {arXiv preprint arXiv:1912.04154},
year = {2020}
}