谱滚降点变化：通过特征图变化探索其中的有用信息
计算机视觉与模式识别
2024-10-28 v2 机器学习
摘要
有用信息（UI）是神经网络中一个难以捉摸的概念。尽管 UI 的变化可通过先验知识识别，但缺乏对 UI 的定量度量。特征图在降采样操作后的通信带宽会降低，但由于奈奎斯特频率较低，UI 在训练后平滑流动。受 UI 低奈奎斯特频率特性的启发，我们提出利用谱滚降点（SROPs）来估计 UI 的变化。针对图像分类任务所需的旋转不变性，将 SROP 的计算从一维信号推广到二维图像。跨特征图的 SROP 统计量被用作逐层有用信息估计。我们设计了合理性检验，以在 UI 变化由模型输入、模型架构和训练阶段的变化产生时探索 SROP 变化。在各种随机化且充分训练的模型结构中，SROP 的变化与 UI 的变化同步。因此，SROP 变化是 UI 变化准确而便捷的标志，它借助频域知识提升了数据表示的可解释性。
引用
@article{arxiv.2102.00369,
title = {Spectral Roll-off Points Variations: Exploring Useful Information in Feature Maps by Its Variations},
author = {Yunkai Yu and Yuyang You and Zhihong Yang and Guozheng Liu and Peiyao Li and Zhicheng Yang and Wenjing Shan},
journal= {arXiv preprint arXiv:2102.00369},
year = {2024}
}
备注
11 pages, 5 figures. This work has been submitted to the IEEE for possible publication