用于混合结构化压缩端到端学习的可微框架
机器学习
2023-09-26 v1 人工智能
图像与视频处理
摘要
滤波器剪枝与低秩分解是结构化压缩的两项基础技术。尽管近期工作探索了旨在融合两种技术优势的混合型方法，但其性能提升至多有限。在本研究中，我们开发了一个可微框架（DF），可将滤波器选择、秩选择与预算约束表达为单一解析形式。在该框架内，我们引入用于滤波器选择的 DML-S，将调度机制集成到现有掩码学习技术中。此外，我们提出用于秩选择的 DTL-S，利用奇异值阈值化算子。该结合 DML-S 与 DTL-S 的框架提供了一种混合结构化压缩方法，可通过基于梯度的优化实现端到端学习。实验结果证明了 DF 的有效性，其超越了最先进的结构化压缩方法。我们的工作为推进结构化压缩技术建立了稳健且通用的途径。
引用
@article{arxiv.2309.13077,
title = {A Differentiable Framework for End-to-End Learning of Hybrid Structured Compression},
author = {Moonjung Eo and Suhyun Kang and Wonjong Rhee},
journal= {arXiv preprint arXiv:2309.13077},
year = {2023}
}
备注
11 pages, 5 figures, 6 tables