开 - 关模式编码与路径计数编码作为深度神经网络表征
计算机视觉与模式识别
2024-01-19 v1
摘要
理解深度神经网络（DNN）的编码表征一直是一个基础 yet 具有挑战性的目标。在本工作中，我们通过研究简单的图像分类任务，聚焦于分析 DNN 表征的两个可能方向。具体而言，我们考虑\textit{开 - 关模式}（On-Off pattern）和\textit{路径计数}（PathCount）来探究信息如何存储在深度表征中。神经元的开 - 关模式取决于该神经元在 ReLU 激活后的值是否非零（'on'）或为零（'off'）。路径计数是指从输入到神经元传输非零能量的路径数量。我们通过将每一层的激活替换为开 - 关模式或路径计数，并评估其对分类性能的影响，来 Investigate 网络中的神经元如何编码信息。我们还检验了表征与路径计数之间的相关性。最后，我们展示了一种通过直接利用开 - 关模式或路径计数来改进现有 DNN 解释方法——类激活图（Class Activation Map, CAM）的可能途径。
引用
@article{arxiv.2401.09518,
title = {On-Off Pattern Encoding and Path-Count Encoding as Deep Neural Network Representations},
author = {Euna Jung and Jaekeol Choi and EungGu Yun and Wonjong Rhee},
journal= {arXiv preprint arXiv:2401.09518},
year = {2024}
}
备注
8 pages, 4 figures