实用网络加速与极小训练集：假设、理论与算法
计算机视觉与模式识别
2023-03-13 v1 人工智能
机器学习
机器学习
摘要
由于数据隐私问题，使用极小训练集加速网络已成为实践中的关键需求。先前方法通过滤波器级剪枝在经验上取得了有前景的结果。本文同时从理论层面研究该问题，并提出与理论结果高度契合的有效算法。首先，我们提出微调凸性假设，以解释为何近期的少样本压缩算法不会遭遇过拟合问题。基于此，进一步建立理论首次解释这些方法。与朴素微调剪枝网络相比，特征模仿被证明可实现更低的参数方差，从而享有更易的优化。依据理论结论，我们主张丢弃块在更凸优化和更高加速比意义下是根本更优的少样本压缩方案。为选择丢弃哪些块，我们提出新指标“可恢复性”来有效度量恢复压缩网络的难度。最后，我们提出名为 PRACTISE 的算法，仅使用极小训练集加速网络。PRACTISE 大幅优于先前方法。对于 22% 延迟降低，其在 ImageNet-1k 上平均超越先前方法 7 个百分点。它在无数据或域外数据设定下也表现良好。我们的代码位于 https://github.com/DoctorKey/Practise
引用
@article{arxiv.2303.00972,
title = {Practical Network Acceleration with Tiny Sets: Hypothesis, Theory, and Algorithm},
author = {Guo-Hua Wang and Jianxin Wu},
journal= {arXiv preprint arXiv:2303.00972},
year = {2023}
}
备注
under review for TPAMI. arXiv admin note: substantial text overlap with arXiv:2202.07861