基于 QUBO 优化的神经网络剪枝

神经网络剪枝可表述为组合优化问题，但大多数现有方法依赖忽略滤波器之间复杂交互的贪心启发式方法。诸如二次无约束二值优化（QUBO）等形式化优化方法提供了原则性的替代方案，但迄今为止由于基于 L1 范数等指标的过度简化的目标函数而表现不佳。在本工作中，我们提出了一种统一的混合 QUBO 框架，将启发式重要性估计与全局组合优化相连接。我们的目标函数将梯度感知灵敏度指标——具体而言为一阶泰勒和二阶费舍尔信息——整合到线性项中，同时利用数据驱动的激活相似性构建二次项。这使得 QUBO 目标能够联合捕捉单个滤波器的相关性和滤波器间的功能冗余。我们进一步引入了动态容量驱动搜索，在不扭曲优化景观的前提下严格强制目标稀疏度。最后，我们采用了一个两阶段流水线，包含张量链（TT）精炼阶段——一种直接针对真实评估指标对 QUBO 导出解进行微调的免梯度优化器。在 SIDD 图像去噪数据集上的实验表明，所提出的混合 QUBO 显著优于贪心泰勒剪枝和传统的基于 L1 的 QUBO，而 TT 精炼在适当的组合尺度下提供了进一步一致的增益。这凸显了混合组合 formulation 在实现鲁棒、可扩展且可解释的神经网络压缩方面的潜力。