基于拓扑熵计算的 CNN 单元定量性能评估
计算机视觉与模式识别
2022-03-18 v5 机器学习
摘要
识别单个网络单元的状态对于理解卷积神经网络（CNNs）的机制至关重要。然而，可靠地给出单元状态的通用指示仍具挑战性，尤其是对于不同网络模型中的单元。为此，我们提出一种利用代数拓扑工具定量厘清 CNN 中单个单元状态的新方法。单元状态通过所定义的一种基于拓扑的熵（称为特征熵）的计算来指示，该熵衡量单元中隐藏的某一类别全局空间模式的混乱程度。如此，特征熵能够为不同网络中处于如权重重缩放操作等多样情形下的单元提供准确的状态指示。进一步，我们展示特征熵随网络层加深而减小，并在训练过程中与损失几乎同步变化。我们表明，仅通过考察单元在训练数据上的特征熵，便可从特征表示有效性的角度区分具有不同泛化能力的网络。
引用
@article{arxiv.2103.09716,
title = {Quantitative Performance Assessment of CNN Units via Topological Entropy Calculation},
author = {Yang Zhao and Hao Zhang},
journal= {arXiv preprint arXiv:2103.09716},
year = {2022}
}
备注
Conference paper at ICLR 2022