面向三维卷积神经网络的低秩 Winograd 变换
计算机视觉与模式识别
2023-01-27 v1
摘要
本文关注三维卷积神经网络（CNNs）中的 Winograd 变换，与二维版本相比，其参数过度化更为严重。不断增加的 Winograd 参数不仅加剧了训练复杂度，而且仅因 Winograd 域中逐元素乘积的规模便阻碍了实际加速。我们尝试通过引入低秩 Winograd 变换来减少可训练参数，这是一种将原始大张量解耦为两个存储需求较小的可训练张量的新型训练范式，从而显著降低了复杂度。基于我们的低秩 Winograd 变换，我们进一步提出了一种低秩导向的稀疏粒度，用于度量列级参数重要性。通过仅在逐元素乘积中涉及非零列，我们的稀疏粒度能够生成非常规则的稀疏模式，从而获得有效的 Winograd 加速。为了更好地理解我们所提方法的有效性，我们在三维 CNNs 上进行了大量实验。结果表明，我们的低秩 Winograd 变换明显优于原始 Winograd 变换。我们还表明，与原始对应方法相比，我们提出的低秩导向稀疏粒度可实现实际的 Winograd 加速。
引用
@article{arxiv.2301.11180,
title = {Low-Rank Winograd Transformation for 3D Convolutional Neural Networks},
author = {Ziran Qin and Mingbao Lin and Weiyao Lin},
journal= {arXiv preprint arXiv:2301.11180},
year = {2023}
}