更简的更好：基于熵的神经网络深度降低重要性度量
机器学习
2024-06-06 v2
摘要
虽然深度神经网络在解决复杂任务方面效果极佳，但大型预训练模型常被用于解决始终如一的更简单的下游任务，而这些任务并不一定需要如此复杂的模型。针对不断增长的AI环境影响问题，我们提出一种效率策略，利用由大型模型传递的先验知识。方法简单有效，我们提出一种依赖于熵基准重要性度量（Entropy-bASed Importance mEtRic, EASIER）的方法，用于降低过参数化深度神经网络的深度，从而减轻其计算负担。我们在传统的图像分类设置中评估了该方法的有效性。我们的代码已公开于 https://github.com/VGCQ/EASIER。
引用
@article{arxiv.2404.18949,
title = {The Simpler The Better: An Entropy-Based Importance Metric To Reduce Neural Networks' Depth},
author = {Victor Quétu and Zhu Liao and Enzo Tartaglione},
journal= {arXiv preprint arXiv:2404.18949},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2404.16890