T-Basis：一种用于神经网络的紧凑表示
机器学习
2021-07-14 v2 计算机视觉与模式识别
机器学习
摘要
我们提出 T-Basis，一种用于一组任意形状张量（常见于神经网络中）紧凑表示的新概念。该集合中的每个张量均使用张量环建模，尽管此概念也适用于其他张量网络。T-Basis 因其张量环图示记号中节点的 T 形而得名，它只是一列等形状的三维张量，用于表示张量环节点。这种表示使我们能用少量参数（T-Basis 张量的系数）对张量集合进行参数化，参数数量随集合中每个张量大小对数增长，并随 T-Basis 的维数线性增长。我们在神经网络压缩任务上评估了所提方法，并证明其以可接受的性能下降实现了高压缩率。最后，我们分析了压缩网络的内存与运算需求，并得出结论：T-Basis 网络同样适用于资源受限环境下的训练与推理以及边缘设备上的使用。
引用
@article{arxiv.2007.06631,
title = {T-Basis: a Compact Representation for Neural Networks},
author = {Anton Obukhov and Maxim Rakhuba and Stamatios Georgoulis and Menelaos Kanakis and Dengxin Dai and Luc Van Gool},
journal= {arXiv preprint arXiv:2007.06631},
year = {2021}
}
备注
Accepted at ICML 2020