GeneCAI：用于获取紧凑 AI 的遗传进化方法
机器学习
2020-04-15 v2 计算机视觉与模式识别
神经与进化计算
机器学习
摘要
在当代大数据领域，深度神经网络（DNNs）正朝着更复杂的架构演进，以实现更高的推理精度。模型压缩技术可被用来在资源受限的移动设备上高效部署此类计算密集型架构。这类方法包含多种超参数，需要逐层定制以确保高精度。选择这些超参数十分繁琐，因为相关搜索空间随模型层数呈指数增长。本文提出 GeneCAI，一种自动学习如何调整逐层压缩超参数的新型优化方法。我们设计了一种双射翻译方案，将压缩后的 DNN 编码到基因型空间。每个基因型的优度使用基于精度和浮点运算次数的多目标分数来衡量。我们开发了定制的遗传操作，以迭代地将非支配解进化至最优帕累托前沿，从而捕捉模型精度与复杂度之间的最优权衡。GeneCAI 优化方法具有高度可扩展性，并在分布式多 GPU 平台上可实现近线性性能提升。我们广泛的评估表明，GeneCAI 通过寻找位于更优精度–复杂度帕累托曲线上的模型，优于现有的基于规则和强化学习的 DNN 压缩方法。
引用
@article{arxiv.2004.04249,
title = {GeneCAI: Genetic Evolution for Acquiring Compact AI},
author = {Mojan Javaheripi and Mohammad Samragh and Tara Javidi and Farinaz Koushanfar},
journal= {arXiv preprint arXiv:2004.04249},
year = {2020}
}