一种用于神经网络稀疏化与压缩的定向进化方法及其在目标识别与分割中的应用，以及使用少量比特最优量化的考量

本工作提出用于神经网络稀疏化的定向进化（DE）方法，其中直接评估参数对网络精度的相关性，并将暂置零时对精度影响最小的参数实际置零。DE 方法通过模仿自然世界的进化，避免了大型网络中待置零参数的所有可能候选集潜在的组合爆炸。DE 使用蒸馏背景 [5]。在此背景下，原始网络为教师网络，DE 将学生神经网络进化至稀疏化目标，同时保持师生间最小散度。在 DE 使网络各层达到所需稀疏化水平后，对保留参数采用多种量化方案，以在可接受的精度损失下找到其表示所需的最少比特数。给出了一种在各稀疏化层中寻找最优量化级分布的过程。对保留的量化参数采用合适的最后无损编码用于最终参数表示。DE 在采用 MNIST、FashionMNIST 和 COCO 数据集及逐步增大网络的代表性神经网络样本中进行了使用。一个在 COCO 数据集上训练、拥有超 6000 万参数的 80 类 YOLOv3 网络达到了 90% 稀疏化，并使用 4bit 参数量化以超 80% 置信度正确识别与分割原始网络所识别的全部目标。压缩比介于 40x 与 80x 之间。作者注意到不同方法的技术可嵌套使用。一旦在 DE 周期中确定了用于稀疏化的最佳参数集，可基于参数幅值与 Hessian 近似等组合准则，决策仅置零这些参数的一个子集。