全双曲卷积神经网络
计算机视觉与模式识别
2020-07-09 v3 机器学习
摘要
卷积神经网络（CNN）近年来在各种计算机视觉任务中取得了巨大成功。然而，其在高维输入与输出问题（如高分辨率图像与视频分割或三维医学成像）中的应用受到多种因素的制约。主要原因在于，在训练阶段必须存储网络激活值以进行反向传播。在这些场景下，存储激活值所需的内存可能超出当前硬件的可行范围，尤其是对于三维问题。受由双曲电报方程支配的物理网络上的信号传播启发，本文针对高维输入输出问题引入了一种完全保守的双曲网络。我们提出了一种粗化操作，通过使用可学习的离散小波变换及其逆变换来粗化和插值网络状态并改变通道数，从而实现完全可逆的CNN。我们表明，完全可逆网络能够在四维时间序列高光谱图像分割和完整三维视频分割中取得与最先进水平相当的結果，且内存占用更低，该占用为与网络深度无关的常数。我们还将此类网络的应用扩展到具有高分辨率输入输出变分自编码器。
引用
@article{arxiv.1905.10484,
title = {Fully Hyperbolic Convolutional Neural Networks},
author = {Keegan Lensink and Bas Peters and Eldad Haber},
journal= {arXiv preprint arXiv:1905.10484},
year = {2020}
}
备注
21 pages, 9 figures, Updated work to include additional numerical experiments, a section about VAEs and learnable wavelets