边缘设备压缩网络对分布偏移的鲁棒性
机器学习
2024-01-23 v1 人工智能
计算机视觉与模式识别
摘要
有必要开发部署在计算资源有限的边缘设备上的高效DNN。然而，压缩网络通常在目标域执行新任务，这与原始网络训练的源域不同。研究压缩网络在两种数据分布偏移（域偏移和对抗扰动）下的鲁棒性非常重要。在本研究中，我们发现压缩模型对分布偏移的鲁棒性低于其原始网络。有趣的是，较大的网络比较小的网络更容易失去鲁棒性，即使它们被压缩到与较小网络相似的大小。此外，通过知识蒸馏获得的紧凑网络对分布偏移的鲁棒性远高于剪枝网络。最后，训练后量化是一种实现显著分布偏移鲁棒性的可靠方法，其在鲁棒性方面优于剪枝和蒸馏模型。
引用
@article{arxiv.2401.12014,
title = {Robustness to distribution shifts of compressed networks for edge devices},
author = {Lulan Shen and Ali Edalati and Brett Meyer and Warren Gross and James J. Clark},
journal= {arXiv preprint arXiv:2401.12014},
year = {2024}
}