ASCAI：用于获取紧凑 AI 的自适应采样
机器学习
2019-11-18 v1 神经与进化计算
机器学习
摘要
本文提出 ASCAI，一种新颖的自适应采样方法，能够学习如何有效压缩深度神经网络（DNNs）以在资源受限平台上加速推理。现代 DNN 压缩技术包含多种超参数，需要逐层定制以确保高精度。选择此类超参数十分繁琐，因为相关搜索空间随模型层数呈指数增长。为有效遍历这一巨大空间，我们设计了一种智能采样机制，利用受遗传算法启发的定制操作来调整采样策略。作为一种特例，我们将模型压缩空间视为向量空间。自适应选择的样本使 ASCAI 能自动学习如何调整逐层压缩超参数，以优化准确率/模型大小的权衡。我们广泛的评估表明，ASCAI 在压缩率和/或准确率方面优于基于规则和强化学习的方法。
引用
@article{arxiv.1911.06471,
title = {ASCAI: Adaptive Sampling for acquiring Compact AI},
author = {Mojan Javaheripi and Mohammad Samragh and Tara Javidi and Farinaz Koushanfar},
journal= {arXiv preprint arXiv:1911.06471},
year = {2019}
}