中文

深度卷积帧let:一种用于逆问题的通用深度学习框架

机器学习 2018-01-26 v5 计算机视觉与模式识别 信息论 机器学习 math.IT

摘要

近来,具有各种网络架构的深度学习方法在多种成像问题中相比现有迭代重建方法取得了显著的性能提升。然而,这些深度学习架构为何适用于特定逆问题仍不清楚。为解决这些问题,我们在此指出,长期寻觅的缺失环节正是通过卷积局部与非局部基来表示信号的卷积帧let(convolution framelets)。卷积帧let 最初是为推广逆问题中低秩 Hankel 矩阵方法的理论而发展出来的,本文进一步扩展该思想,使得我们能够利用多层卷积帧let 在线性整流单元(ReLU)非线性下实现完美重建(PR)的深度神经网络。我们的分析还表明,诸如残差块、冗余滤波器通道和拼接 ReLU(CReLU)等流行的深度网络组件确实有助于实现 PR,而池化与反池化层应辅以高通分支以满足 PR 条件。此外,通过改变滤波器通道数与偏置,我们可以控制神经网络的收缩行为。该发现引导我们提出深度卷积帧let 神经网络的新理论。利用针对不同逆问题的数值实验,我们证明了我们的深度卷积帧let 网络相比现有深度架构表现出一致的改进。这一发现表明,深度学习的成功并非来自黑箱的魔力,而是源于使用非局部基与数据驱动的局部基相结合的新颖信号表示的能力,这确实是经典信号处理理论的自然延伸。

关键词

引用

@article{arxiv.1707.00372,
  title  = {Deep Convolutional Framelets: A General Deep Learning Framework for Inverse Problems},
  author = {Jong Chul Ye and Yoseob Han and Eunju Cha},
  journal= {arXiv preprint arXiv:1707.00372},
  year   = {2018}
}

备注

This will appear in SIAM Journal on Imaging Sciences