STN：通过结构感知训练与自适应压缩的可扩展张量化网络
计算机视觉与模式识别
2022-05-31 v1 人工智能
摘要
深度神经网络（DNNs）在计算机视觉的诸多任务中取得了卓越性能。然而，流行架构的过参数化表示显著增加了计算复杂度和存储成本，并阻碍其在资源受限的边缘设备上的可用性。尽管许多张量分解（TD）方法已被充分研究用于压缩 DNN 以学习紧凑表示，它们在实践中仍遭受不可忽略的性能下降。本文提出可扩展张量化网络（STN），其无需重训练即可动态、自适应地调整模型规模与分解结构。首先，我们在训练时通过添加低秩正则化项来考虑压缩，以保证网络在全张量格式下所需的低秩特性。进而，考虑到网络各层呈现不同的低秩结构，STN 通过数据驱动的自适应 TD 方法获得，其中每层的分解拓扑结构由预训练模型学习得到，秩在指定存储约束下恰当选取。因此，STN 兼容任意网络架构，并相较其他张量化版本实现了更高的压缩性能与灵活性。在多个流行架构与基准上的综合实验证实了我们的模型在提升参数效率方面的优越性。
引用
@article{arxiv.2205.15198,
title = {STN: Scalable Tensorizing Networks via Structure-Aware Training and Adaptive Compression},
author = {Chang Nie and Huan Wang and Lu Zhao},
journal= {arXiv preprint arXiv:2205.15198},
year = {2022}
}