网络线性化的坐标下降法
机器学习
2025-11-18 v1 计算机视觉与模式识别
机器学习
摘要
ReLU激活函数是基于ResNet网络进行私有推断的主要瓶颈，因为它们会造成显著的推理延迟。降低ReLU数量是一个离散优化问题，目前有两种常见的解决方法。大多数当前的SOTA方法基于光滑近似，同时优化网络准确度和ReLU预算。然而，优化的最后硬阈值步骤通常会引入显著的性能损失。我们采用另一种方法，直接在离散域内通过利用坐标下降作为优化框架来实现此目标。与以前的方法不同，这会以稀疏解的形式生成解。通过大量实验，我们展示了该方法在常见基准测试上的SOTA性能。
引用
@article{arxiv.2511.11781,
title = {Coordinate Descent for Network Linearization},
author = {Vlad Rakhlin and Amir Jevnisek and Shai Avidan},
journal= {arXiv preprint arXiv:2511.11781},
year = {2025}
}