面向可处理效率的 CNN 无数据动态压缩
计算机视觉与模式识别
2025-03-20 v2 机器学习
摘要
为降低卷积神经网络（CNNs）在资源受限设备上的计算成本，结构化剪枝方法已展现出在不显著损失精度的情况下降低浮点运算次数（FLOPs）的潜力。然而，多数方法需要微调或特定训练流程，以在保持精度与降低 FLOPs 之间取得合理权衡，这增加了计算开销且要求训练数据可用。为此，我们提出 HASTE（Hashing for Tractable Efficiency，面向可处理效率的哈希），一种无数据、即插即用的卷积模块，可在无需训练或微调的情况下即时降低网络的测试时推理成本。我们的方法利用局部敏感哈希（LSH）检测潜特征图通道维度中的冗余，将相似通道压缩以同时减少输入与滤波器深度，从而得到更廉价的卷积。我们在流行视觉基准 CIFAR-10 与 ImageNet 上验证该方法，通过在 CIFAR-10 的 ResNet34 中将卷积模块替换为我们的 HASTE 模块，实现了 FLOPs 降低 46.72% 而精度仅损失 1.25%。
引用
@article{arxiv.2309.17211,
title = {Data-Free Dynamic Compression of CNNs for Tractable Efficiency},
author = {Lukas Meiner and Jens Mehnert and Alexandru Paul Condurache},
journal= {arXiv preprint arXiv:2309.17211},
year = {2025}
}
备注
Accepted at VISAPP 2025