数据驱动的低秩神经网络压缩
人工智能
2021-07-14 v1 机器学习
摘要
尽管深度神经网络（DNNs）有许多现代应用，但隐藏层中大量的参数使它们在存储容量受限的设备上部署时缺乏吸引力。本文提出一种数据驱动低秩（DDLR）方法，通过对全连接层施加低秩结构来减少预训练 DNN 的参数数量并加速推理，同时控制整体精度且无需任何重训练。我们将问题表述为在给定性能保证下寻找每个全连接层的最低秩近似，并将其松弛为一个易处理的凸优化问题。我们表明，仅以很小的分类精度下降为代价，即可显著减少常见 DNN 架构中的参数数量。我们将 DDLR 与另一种基于稀疏性的数据驱动 DNN 压缩技术 Net-Trim 进行比较，结果表明 DDLR 在保持更高精度的同时始终产生压缩程度更高的神经网络。
引用
@article{arxiv.2107.05786,
title = {Carle's Game: An Open-Ended Challenge in Exploratory Machine Creativity},
author = {Q. Tyrell Davis},
journal= {arXiv preprint arXiv:2107.05786},
year = {2021}
}
备注
8 pages, 11 figures, accepted to IEEE Conference on Games 2021: 978-1-6654-3886-5/21/$31.00 \copyright 2021 IEEE