学习具有低位移秩的压缩变换
机器学习
2019-01-03 v3 机器学习
摘要
用于结构化矩阵的低位移秩（LDR）框架通过两个位移算子和一个低秩残差来表示矩阵。现有在深度学习中对 LDR 矩阵的使用采用了固定的位移算子，其编码了类似于卷积的平移不变性形式。我们引入了一类具有更一般位移算子的 LDR 矩阵，并显式地学习位移算子和低秩分量两者。该类推广了先前的若干构造，同时保留了压缩性和高效计算。我们证明了具有结构化权重矩阵的多层神经网络的 VC 维界，并从经验上表明我们的紧凑参数化能够降低学习的样本复杂度。在用于图像分类和语言建模任务的全连接、卷积和循环神经网络中替换权重层时，我们的新类超越了现有压缩方法的精度，并且在一些任务上还优于通用的非结构化层，同时使用的参数减少了 20 倍以上。
引用
@article{arxiv.1810.02309,
title = {Learning Compressed Transforms with Low Displacement Rank},
author = {Anna T. Thomas and Albert Gu and Tri Dao and Atri Rudra and Christopher Ré},
journal= {arXiv preprint arXiv:1810.02309},
year = {2019}
}
备注
NeurIPS 2018. Code available at https://github.com/HazyResearch/structured-nets