ExplainFix：可解释的空间固定深度网络
计算机视觉与模式识别
2023-03-21 v1 人工智能
机器学习
摘要
是否存在一种无需学习的深度网络初始化？ExplainFix 采用两条设计原则：“固定滤波器”原则，即卷积神经网络的所有空间滤波器权重可在初始化时固定且从不学习；“灵巧性”原则，即仅少量网络参数便已足够。我们贡献了（a）基于可视模型的解释，（b）速度与精度增益，以及（c）深度卷积神经网络的新工具。ExplainFix 给出了关键洞见：空间固定网络应具有转向初始化，空间卷积层倾向于优先低频，且空间固定模型中大多数网络参数并非必要。ExplainFix 模型的空间滤波器核数比完全学习模型最多少 100 倍，且精度相当或更高。我们广泛的实证分析证实，ExplainFix 保证了更灵巧的模型（通过通道剪枝训练最高快 17%）、相当或更好的预测性能（涵盖 13 个不同基线模型、四种架构和两个医学图像数据集）、对更大学习率的更强鲁棒性，以及对不同模型规模的鲁棒性。我们首次证明，最先进卷积深度网络中的所有空间滤波器均可在初始化时固定而不学习。
引用
@article{arxiv.2303.10408,
title = {ExplainFix: Explainable Spatially Fixed Deep Networks},
author = {Alex Gaudio and Christos Faloutsos and Asim Smailagic and Pedro Costa and Aurelio Campilho},
journal= {arXiv preprint arXiv:2303.10408},
year = {2023}
}
备注
Recently Published in Wiley WIREs Journal of Data Mining and Knowledge Discovery. This version has minor formatting differences and includes the supplementary appendix with the main document. Source code: https://github.com/adgaudio/ExplainFix/