调制正则化频率以实现高效的压缩感知模型训练
机器学习
2021-05-06 v1 人工智能
摘要
由于神经网络规模庞大,模型压缩日益重要,但压缩感知训练具有挑战性,因为它需要复杂的模型修改和更长的训练时间。在本文中,我们引入正则化频率(即训练期间执行压缩的频繁程度)作为一种新的正则化技术,用于实用且高效的压缩感知训练方法。对于各种正则化技术,如权重衰减和 dropout,优化正则化强度对于改善深度神经网络(DNNs)的泛化能力至关重要。虽然模型压缩也需要恰当的正则化量,但由模型压缩引起的正则化强度仅由压缩比控制。通过大量实验,我们表明正则化频率关键性地影响模型压缩的正则化强度。结合正则化频率与压缩比,每个 mini-batch 中模型压缩引起的权重更新量可被优化以取得最佳模型精度。调制正则化频率通过偶尔进行模型压缩来实现,而传统的压缩感知训练通常对每个 mini-batch 都执行。
引用
@article{arxiv.2105.01875,
title = {Modulating Regularization Frequency for Efficient Compression-Aware Model Training},
author = {Dongsoo Lee and Se Jung Kwon and Byeongwook Kim and Jeongin Yun and Baeseong Park and Yongkweon Jeon},
journal= {arXiv preprint arXiv:2105.01875},
year = {2021}
}
备注
arXiv admin note: text overlap with arXiv:1905.10145