利用编码 ResNeXt 解耦信息路径
计算机视觉与模式识别
2023-09-21 v2 信息论
机器学习
math.IT
摘要
将深度学习模型视为黑箱的传统且广泛使用的方法，对指导神经网络决策的机制提供的见解有限或几乎没有。大量研究工作致力于构建可解释模型以解决此问题。大多数努力要么聚焦于与最后几层相关的高层特征，要么试图解释单个层的输出。本文中，我们采用一种新颖方法来增强整个网络功能的透明度。我们提出一种用于分类的神经网络架构，其中与每个类别相关的信息流经特定路径。这些路径在训练前利用编码理论预先设计，且不依赖于类别之间的语义相似性。一个关键特性是，每条路径都可以用作一个自主的单一用途模型。这使我们无需任何额外训练，即可为任何类别获得一个轻量级二分类器，其参数比原始网络至少少 。此外，我们基于编码理论的方法允许神经网络在推理过程中于中间层进行早期预测，而无需完整评估。值得注意的是，所提出的架构在提供所有上述特性的同时，提高了整体准确率。我们在 CIFAR-10/100 和 ImageNet-1k 上测试的略微修改的 ResNeXt 模型上展示了这些特性。
引用
@article{arxiv.2202.05343,
title = {Towards Disentangling Information Paths with Coded ResNeXt},
author = {Apostolos Avranas and Marios Kountouris},
journal= {arXiv preprint arXiv:2202.05343},
year = {2023}
}