使用稀疏随机三元矩阵压缩一维时间-通道可分离卷积
机器学习
2021-10-22 v3 信号处理
摘要
我们证明了在一维时间-通道可分离卷积中的 1x1 卷积可被权重取自 的常量、稀疏随机三元矩阵所替代。此类层不执行任何乘法运算且无需训练。此外，这些矩阵可在计算过程中于芯片上生成，因此不需要任何内存访问。在相同的参数预算下，我们能够负担更深且更具表达力的模型，从而在多个任务上改进现有模型的帕累托前沿。在 Google Speech Commands v1 上的命令识别任务中，我们在相同网络规模下将最优准确率从 提升至 。或者，我们可以降低现有模型的成本。在 Librispeech 上的语音识别中，我们将待训练权重数量减半，而仅损失浮点基线词错误率约 。
引用
@article{arxiv.2103.17142,
title = {Compressing 1D Time-Channel Separable Convolutions using Sparse Random Ternary Matrices},
author = {Gonçalo Mordido and Matthijs Van Keirsbilck and Alexander Keller},
journal= {arXiv preprint arXiv:2103.17142},
year = {2021}
}