Foothill：用于深度神经网络边缘计算的拟凸正则化
机器学习
2019-05-24 v2 机器学习
摘要
深度神经网络（DNNs）在许多监督学习任务中展现了成功，涵盖从语音识别、目标检测到图像分类等领域。然而，其日益增加的复杂性可能导致较差的泛化误差，使其难以部署在边缘设备上。量化是压缩 DNNs 以满足这些约束的有效方法。使用拟凸基函数构建二值量化器有助于训练二值神经网络，而向输入数据添加噪声或使用具体的正则化函数有助于改善泛化误差。在此我们引入 foothill 函数，这是一个无限可微的拟凸函数。该正则化项足够灵活，可向 和 惩罚变形。Foothill 可用作二值量化器、正则化项或损失函数。特别地，我们展示了该正则化项在 ImageNet 图像分类任务中减小了 BNNs 与其全精度对应模型之间的精度差距。
引用
@article{arxiv.1901.06414,
title = {Foothill: A Quasiconvex Regularization for Edge Computing of Deep Neural Networks},
author = {Mouloud Belbahri and Eyyüb Sari and Sajad Darabi and Vahid Partovi Nia},
journal= {arXiv preprint arXiv:1901.06414},
year = {2019}
}
备注
Accepted in 16th International Conference of Image Analysis and Recognition (ICIAR 2019)