通道信息的双轴视角：任务相关性不等同于局部可替代性
计算机视觉与模式识别
2026-05-11 v1 机器学习
摘要
视觉网络中通道重要性通常用单一评分概括。该评分隐藏了两个不同问题：通道与任务的关联程度，以及在移除该通道后，其功能能否由同层的其他通道提供。我们称第二个性质为局部可替代性。我们引入双轴视角，将这两个问题分离。局部轴衡量输入捕获和同伴重叠度，而目标轴衡量任务信息和目标超额信息。在在 CIFAR-100 上训练的 ResNet-18、VGG-16 和 MobileNetV2 上，两个轴之间的关联较弱，导致不同的通道分组，并在训练过程中发生快速分离，尽管在随机初始化时二者高度耦合。高斯线性分析解释了这种分离如何通过残差化梯度方向实现，以及切除实验和同伴替换实验表明，同伴支持在输入捕获和任务相关性之外进一步细化了可移除性。在固定 FLOPs 匹配的剪枝协议下，局部轴指标在三个 CIFAR-100 主干网络中是可移除性的更可靠预测器，while 这种方向在 CIFAR-10、Tiny-ImageNet、ImageNet-100 以及 ConvNeXt-T/ImageNet-100 试点测试中得以保持。这些发现识别出的是轴级区别，而非通道剪枝评分的普遍排序：局部可替代性是可移除性更可靠的指南，而范数基线在诸如 VGG-16 之类的体系结构中仍保持竞争力。基于相关性的评分询问的是通道对任务的意义；而剪枝则询问的是在其同伴仍可用的情形下，网络是否仍需要该通道。
引用
@article{arxiv.2605.07086,
title = {Task Relevance Is Not Local Replaceability: A Two-Axis View of Channel Information},
author = {Houman Safaai and Andrew T. Landau and Celia C. Beron and Yasin Mazloumi and Bernardo L. Sabatini},
journal= {arXiv preprint arXiv:2605.07086},
year = {2026}
}