卷积模型的张量网络可压缩性
计算机视觉与模式识别
2024-08-20 v2 机器学习
量子物理
摘要
卷积神经网络（CNN）是使用最广泛的神经网络架构之一，在计算机视觉任务中展现出最先进的性能。尽管更大的 CNN 通常表现出更高的准确率，但通过“张量化”可以在保持准确率的同时有效减小其规模，即用紧凑分解（如 Tucker、Canonical Polyadic 分解，或受量子启发的分解，如矩阵乘积态）替换卷积核，并直接训练分解中的因子，使学习偏向低秩分解。但为什么张量化似乎不会对准确率产生不利影响？我们通过评估截断密集（未张量化）CNN 的卷积核如何影响其准确率来探索这一点。具体来说，我们截断了（i）一个普通的四层 CNN 和（ii）在 CIFAR-10 和 CIFAR-100 数据集上预训练用于图像分类的 ResNet-50 的卷积核。我们发现，卷积核（尤其是深层内部的核）通常可以沿多个维度进行截断，导致核范数显著损失，但分类准确率并未下降。这表明，这种“相关性压缩”（张量化的基础）是密集 CNN 中信息编码方式的一个内在特征。我们还发现，经过激进截断的模型通常只需几个轮次的重新训练就能恢复到截断前的准确率，这表明压缩卷积层的内部相关性通常不会将模型转移到更差的极小值。我们的结果可用于更有效地张量化和压缩 CNN 模型。
引用
@article{arxiv.2403.14379,
title = {Tensor network compressibility of convolutional models},
author = {Sukhbinder Singh and Saeed S. Jahromi and Roman Orus},
journal= {arXiv preprint arXiv:2403.14379},
year = {2024}
}
备注
40 pages, 21 images