SVD-NAS：耦合低秩近似与神经架构搜索
机器学习
2022-08-23 v1
摘要
压缩预训练深度神经网络因能免除实践者对数据访问的需求而广受研究界关注。在该领域，低秩近似是一种有前景的方法，但现有方案考虑的设计选择有限，且未能高效探索设计空间，导致严重的精度下降与有限的压缩比。为克服上述局限，本文提出 SVD-NAS 框架，将低秩近似与神经架构搜索两个领域相耦合。SVD-NAS 通过引入低秩架构空间 LR-space（一种更细粒度的低秩近似设计空间）对先前工作的设计选择进行推广与扩展。随后，本文提出一种基于梯度下降的搜索方法，以高效遍历 LR-space。这种更精细且更充分的探索带来了精度提升，并减少了 CNN 模型的参数量、FLOPS 与延迟。结果表明，在数据受限的问题设定下，SVD-NAS 在 ImageNet 上比最先进方法高出 2.06–12.85 个百分点精度。SVD-NAS 已在 https://github.com/Yu-Zhewen/SVD-NAS 开源。
引用
@article{arxiv.2208.10404,
title = {SVD-NAS: Coupling Low-Rank Approximation and Neural Architecture Search},
author = {Zhewen Yu and Christos-Savvas Bouganis},
journal= {arXiv preprint arXiv:2208.10404},
year = {2022}
}
备注
Accepted at WACV 2023