BT-Nets：通过块项分解简化深度神经网络
机器学习
2017-12-18 v1 机器学习
摘要
近来，深度神经网络（DNNs）被视为广泛应用（尤其是图像分类中）最先进的分类方法。尽管取得成功，其庞大的参数量阻碍了在轻量计算资源场景下的部署。研究者借助 DNN 权重的冗余性，试图找到在保持精度的同时选用更少参数的方法。尽管该方向已有若干可喜结果，多数现有方法要么无法显著压缩训练良好的深度网络，要么需要繁重的微调过程使压缩网络恢复原有性能。本文提出 \textit{Block Term} 网络（BT-nets），其中以块项层（BT-layers）替代常用的全连接层（FC-layers）。在 BT-layers 中，输入与输出被重塑为两个低维高阶张量，随后应用块项分解作为张量算子连接二者。我们在基准数据集上开展广泛实验，表明 BT-layers 能在参数数量上实现极大压缩比，同时尽可能保留原 FC-layers 的表示能力。具体而言，与张量列方法相比，我们可用更少参数获得更高性能。
引用
@article{arxiv.1712.05689,
title = {BT-Nets: Simplifying Deep Neural Networks via Block Term Decomposition},
author = {Guangxi Li and Jinmian Ye and Haiqin Yang and Di Chen and Shuicheng Yan and Zenglin Xu},
journal= {arXiv preprint arXiv:1712.05689},
year = {2017}
}