通过张量分解实现激活图压缩以用于深度学习
机器学习
2024-11-12 v1 计算机视觉与模式识别
摘要
物联网与深度学习是协同且指数增长的工业领域，迫切需要将它们统一到一个名为边缘 AI 的通用框架中。虽然设备端推理是近期研究中已被充分探索的主题，但反向传播由于与嵌入式设备的极端资源约束相比其计算和内存成本过高，仍然是一个开放挑战。借鉴张量分解研究，我们针对反向传播的主要瓶颈——即激活图存储的内存占用——展开研究。我们研究并比较了使用奇异值分解及其张量变体高阶奇异值分解进行激活压缩的效果。低阶分解的应用在保留学习所必需特征的同时实现了可观的内存节省，并且还提供了收敛的理论保证。在主流架构和任务上获得的实验结果表明，在泛化能力与内存占用之间的权衡方面，该方法相对于其他最先进解决方案具有帕累托优势。
引用
@article{arxiv.2411.06346,
title = {Activation Map Compression through Tensor Decomposition for Deep Learning},
author = {Le-Trung Nguyen and Aël Quélennec and Enzo Tartaglione and Samuel Tardieu and Van-Tam Nguyen},
journal= {arXiv preprint arXiv:2411.06346},
year = {2024}
}