从对抗鲁棒性视角看神经组合求解器的泛化能力
机器学习
2022-03-22 v2
摘要
端到端（几何）深度学习在近似组合优化问题解方面已见初步成功。然而，在 NP-hard/-complete 任务领域生成数据带来实际与理论挑战，导致评估协议过于乐观。具体而言，大多数数据集仅捕捉较简单的子问题，且可能受伪特征影响。我们通过研究对抗鲁棒性——一种局部泛化性质——来揭示困难的、模型特定的实例与伪特征。为此，我们推导了 SAT 与 TSP 的扰动模型。不同于其他应用中围绕主观不可感知性概念设计的扰动模型，我们的扰动模型高效且可靠，使我们无需求解器即可确定扰动样本的真实标签。令人惊讶的是，在此类扰动下，足够表达力的神经求解器并未遭受监督学习中常见的准确率-鲁棒性权衡局限。尽管此类鲁棒求解器存在，我们经实验表明所评估的神经求解器就问题实例的小扰动而言泛化不佳。
引用
@article{arxiv.2110.10942,
title = {Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness},
author = {Simon Geisler and Johanna Sommer and Jan Schuchardt and Aleksandar Bojchevski and Stephan Günnemann},
journal= {arXiv preprint arXiv:2110.10942},
year = {2022}
}