若想具备鲁棒性，谨慎初始化
机器学习
2025-10-28 v1
摘要
图神经网络 (GNN) 在图相关任务的广泛应用中展现了卓越的性能，但它们对对抗性扰动的脆弱性仍引人关注。虽然现有的防御策略主要集中在预处理技术和自适应消息传递方案上，但本研究深入探讨了权重初始化及其相关超参数（如训练周期数）对模型鲁棒性影响的潜在方面。我们引入了一个理论框架，建立了初始化策略与网络抗对抗性扰动韧性之间的联系。我们的分析揭示了初始权重、训练周期数与模型脆弱性之间存在直接关系，为超越常规防御机制的对抗鲁棒性提供了新视角。虽然我们的主要关注对象是 GNN，但我们扩展了该理论框架，提供了一个适用于深度神经网络的通用上界。广泛的实验——涵盖多种模型和面临各种对抗攻击的真实数据集——验证了我们的发现。我们说明，选择合适的初始化不仅能确保在干净数据集上的性能，还能显著提升模型对对抗性扰动的鲁棒性，在与其他初始化方法比较时，观察到的性能差距可达 50%。
引用
@article{arxiv.2510.22652,
title = {If You Want to Be Robust, Be Wary of Initialization},
author = {Sofiane Ennadir and Johannes F. Lutzeyer and Michalis Vazirgiannis and El Houcine Bergou},
journal= {arXiv preprint arXiv:2510.22652},
year = {2025}
}
备注
Accepted at NeurIPS 2024