基于集成知识引导的子网络搜索与微调的滤波器剪枝
机器学习
2022-07-12 v3 人工智能
计算机视觉与模式识别
摘要
传统的基于 NAS 的剪枝算法旨在寻找具有最佳验证性能的子网络。然而，验证性能并不能成功代表测试性能，即潜在性能。此外，尽管对剪枝后的网络进行微调以恢复性能下降是不可避免的过程，但很少有研究处理这一问题。本文提出了一种新颖的集成知识引导（EKG）来同时解决这两个问题。首先，我们通过实验证明损失景观的波动可以作为评估潜在性能的有效指标。为了以低成本搜索具有最平滑损失景观的子网络，我们采用 EKG 作为搜索奖励。用于后续搜索迭代的 EKG 由中间子网络的集成知识组成，即子网络评估的副产品。接下来，我们在微调剪枝网络时复用 EKG，为剪枝网络提供温和且信息丰富的引导。由于 EKG 在两个阶段均实现为记忆库，其所需开销可忽略不计。例如，在对 ResNet-50 进行剪枝和训练时，仅需 315 GPU 小时即可去除约 45.04% 的 FLOPS 而无任何性能下降，甚至可在低配置工作站上运行。实现代码见 https://github.com/sseung0703/EKG。
引用
@article{arxiv.2203.02651,
title = {Ensemble Knowledge Guided Sub-network Search and Fine-tuning for Filter Pruning},
author = {Seunghyun Lee and Byung Cheol Song},
journal= {arXiv preprint arXiv:2203.02651},
year = {2022}
}
备注
accepted to ECCV2022