用于全可逆多级神经网络的对称块低秩层
计算机视觉与模式识别
2019-12-30 v1
摘要
限制神经网络输入和输出大小的因素包括用于计算梯度的网络状态/激活的内存需求，以及用于卷积核或其他权重的内存。对于我们希望学习如何将体积数据映射到所需输出的应用（例如视频到视频），内存限制尤为严重。最近开发的全可逆神经网络仅使用存储少数几层的网络状态即可计算梯度。虽然这节省了大量内存，但如果全可逆网络包含多个可逆池化/粗化层，则是卷积核占用了大部分内存。正交小波变换等可逆粗化算子会导致通道数爆炸式增长。我们通过将全可逆网络与直接以压缩形式包含卷积核的层相结合来解决此问题。具体而言，我们引入了一种具有对称块低秩结构的层。在思想上，该层类似于瓶颈和压缩-扩展结构。我们通过构造贡献对称性，并结合符号与张量展平，使我们能够以线性代数方式将这些网络结构解释为因子化形式的块低秩矩阵，并观察到各种性质。一个视频分割示例表明，我们可以训练网络一次性分割整个视频，就内存需求而言，使用非可逆网络和先前提出的可逆网络是无法做到的。
引用
@article{arxiv.1912.12137,
title = {Symmetric block-low-rank layers for fully reversible multilevel neural networks},
author = {Bas Peters and Eldad Haber and Keegan Lensink},
journal= {arXiv preprint arXiv:1912.12137},
year = {2019}
}