深度神经网络是否有效利用了权重空间？
机器学习
2024-01-31 v1 人工智能
摘要
诸如 Transformer 和卷积神经网络（CNN）等深度学习模型已在各个领域引发了变革，但其参数密集的特性阻碍了在资源受限环境中的部署。在本文中，我们引入了一种利用权重矩阵列空间和行空间的新概念，该概念能够在不损害性能的情况下大幅减少模型参数。利用这一范式，我们实现了参数高效的深度学习模型。我们的方法适用于 Bottleneck 和 Attention 层，在仅产生轻微性能下降的情况下有效减半了参数量。在 ImageNet 数据集上使用 ViT 和 ResNet50 进行的广泛实验证明了我们方法的有效性，展现出与传统模型相比具有竞争力的性能。该方法不仅解决了对参数高效深度学习解决方案的迫切需求，而且在实际场景的实际部署中也具有广阔的前景。
引用
@article{arxiv.2401.16438,
title = {Do deep neural networks utilize the weight space efficiently?},
author = {Onur Can Koyun and Behçet Uğur Töreyin},
journal= {arXiv preprint arXiv:2401.16438},
year = {2024}
}