通过分布外重要性评分实现域泛化剪枝
机器学习
2022-10-26 v1
摘要
滤波器剪枝已被广泛用于压缩卷积神经网络，以降低部署阶段的计算成本。近期研究表明，滤波器剪枝技术可以实现深度神经网络的无损压缩，在牺牲精度性能的前提下减少冗余滤波器（核）。然而，评估是在训练与测试数据来自相似环境条件（独立同分布）时进行的，而滤波器剪枝技术如何影响跨域泛化（分布外）性能在很大程度上被忽视。我们进行了广泛的实证实验并揭示，尽管滤波器剪枝后域内性能可以保持，但跨域性能将大幅衰减。由于对滤波器重要性评分是剪枝的核心问题之一，我们设计了一种利用域级风险方差的重要性评分估计，以考虑未见分布下的剪枝风险。由此，我们可以保留更多域泛化滤波器。实验表明，在相同剪枝率下，我们的方法比基线滤波器剪枝方法实现了显著更好的跨域泛化性能。作为首次尝试，我们的工作为域泛化与滤波器剪枝研究的联合问题提供了启示。
引用
@article{arxiv.2210.13810,
title = {Toward domain generalized pruning by scoring out-of-distribution importance},
author = {Rizhao Cai and Haoliang Li and Alex Kot},
journal= {arXiv preprint arXiv:2210.13810},
year = {2022}
}
备注
Accepted in Workshop on Distribution Shifts, 36th Conference on Neural Information Processing Systems (NeurIPS 2022)