Lipschitz 常数与条件数：学习稳健且紧凑的深度神经网络
机器学习
2025-03-27 v1 计算机视觉与模式识别
摘要
近期研究表明，深度神经网络 (Deep Neural Networks, DNNs) 的高压缩（例如权重矩阵的大规模剪枝）会导致准确率下降和对对抗性攻击的易受性增加。将网络剪枝集成到对抗训练框架中以提升对抗鲁棒性已被提出。人们观察到，高度剪枝后的权重矩阵倾向于病态（即权重矩阵条件数增加），这加剧了 DNN 对输入噪声的脆弱性。虽然高度剪枝的权重矩阵可降低局部 Lipschitz 常数的上界以容忍大扰动，但其病态性会导致模型不稳健。为此，本文开发出新的联合约束以调整网络的权重分布，即 Transformed Sparse Constraint joint with Condition Number Constraint (TSCNC)，通过平滑分布和可微分约束函数来降低条件数，从而避免权重矩阵的病态。进一步的理论分析揭示了条件数与权重矩阵局部 Lipschitz 常数的关联性，即条件数快速上升成为限制过度稀疏模型鲁棒性的主导因素。在多个公开数据集上进行大量实验，结果表明所提出的约束显著提高了在高剪枝率下的 DNN 鲁棒性。
引用
@article{arxiv.2503.20454,
title = {Lipschitz Constant Meets Condition Number: Learning Robust and Compact Deep Neural Networks},
author = {Yangqi Feng and Shing-Ho J. Lin and Baoyuan Gao and Xian Wei},
journal= {arXiv preprint arXiv:2503.20454},
year = {2025}
}
备注
13 pages, 6 figures