SeKron：一种支持多种分解结构的张量分解方法
计算机视觉与模式识别
2022-10-13 v1
摘要
尽管卷积神经网络（CNNs）已成为大多数图像处理和计算机视觉应用的事实标准，但其在边缘设备上的部署仍具挑战性。张量分解方法通过对卷积张量施加特定的分解结构，为压缩 CNN 以满足广泛的设备约束提供了途径。然而，受限于当前最先进分解方法所给出的少量分解结构，可能导致次优性能。我们提出 SeKron，一种利用克罗内克积序列、可提供丰富分解结构的新型张量分解方法。通过递归地寻找近似克罗内克因子，我们针对每种分解结构得到最优分解。我们证明 SeKron 是一种可推广广泛使用的张量训练（TT）、张量环（TR）、规范多腺（CP）和 Tucker 分解的灵活分解方法。关键在于，我们推导了所有 SeKron 结构共享的高效卷积投影算法，从而实现对 CNN 模型的无缝压缩。我们在高层与底层计算机视觉任务上验证了 SeKron 的模型压缩能力，发现其优于最先进的分解方法。
引用
@article{arxiv.2210.06299,
title = {SeKron: A Decomposition Method Supporting Many Factorization Structures},
author = {Marawan Gamal Abdel Hameed and Ali Mosleh and Marzieh S. Tahaei and Vahid Partovi Nia},
journal= {arXiv preprint arXiv:2210.06299},
year = {2022}
}