基于可控性-可观性测试的深度神经网络经验最小实现压缩

深度神经网络通常包含大量的隐藏状态冗余，但大多数压缩方法直接作用于权重、神经元或量化表示，而没有明确表征内部状态的动态作用。本文提出了一种用于深度神经网络经验状态阶约简的可控性-可观性框架。通过将训练好的网络视为深度索引的非线性动力系统，我们从隐藏状态快照和输出雅可比矩阵构建数据驱动的可达性、可观性和平衡Gramian。由此产生的A/B/C测试估计逐层的可达、可观以及联合可达-可观秩。这些秩不仅用作隐藏状态冗余的诊断度量，还用作实现约简网络的实际压缩层宽度。在MNIST和CIFAR-10上的实验将所提出的平衡实现与基于投影的约简、非结构化剪枝、结构化剪枝、低秩SVD、动态INT8量化和线性基线进行了比较。在MNIST上，一个四层SiLU DNN从状态阶1024减少到277，实现了72.95%的状态压缩和73.48%的参数压缩，同时保持了95.45%的准确率（完整模型为96.60%）。在CIFAR-10上，一个更大的SiLU DNN从状态阶4608减少到1339，实现了70.94%的状态压缩和83.09%的参数压缩，同时将准确率从54.45%保持到54.44%，并将CUDA推理延迟降低了约3倍。结果表明，平衡的可达-可观秩为设计紧凑的神经架构提供了原则性的经验最小实现准则，且几乎没有或没有精度损失。