基于双-oracle 框架的博弈论深度学习模型神经网络搜索
机器学习
2024-10-08 v1 计算机科学与博弈论
摘要
本文提出一种新方法，通过引入博弈论概念（包括生成对抗网络 GAN 和对抗训练 AT），在深度学习模型中部署双-oracle 框架并使用最佳响应 oracle。GAN 本质上是生成器与判别器之间两个玩家的零和博弈。相同概念可用于 AT，其中的攻击者和分类器作为玩家。训练这些模型具有挑战性，因为纯 Nash 均衡可能不存在，且即使寻找混合 Nash 均衡也困难，因为 GAN 和 AT 的训练算法面临大规模策略空间。扩展我们初步的模型 DO-GAN，我们提出将双-oracle 框架概念应用于对抗神经网络搜索（NAS for GAN）和对抗训练（NAS for AT）算法的方法。我们首先将玩家策略概括为来自最佳响应 oracle 的生成器和判别器训练模型。随后使用线性规划计算 meta-strategy。为了提高框架的可扩展性，当多个最佳响应网络模型存储在内存中时，我们会削减被弱支配玩家策略，以防止 oracle 变得不可管理。最后，我们在 MNIST、CIFAR-10 和 TinyImageNet 上进行 DONAS-GAN 实验。我们也在 CIFAR-10、SVHN 和 TinyImageNet 上对 DONAS-AT 在 FGSM 和 PGD 攻击下的鲁棒性进行评估。我们显示，所有变体在主观定性评估和量化指标方面都显著优于其相应的基本架构。
引用
@article{arxiv.2410.04764,
title = {Double Oracle Neural Architecture Search for Game Theoretic Deep Learning Models},
author = {Aye Phyu Phyu Aung and Xinrun Wang and Ruiyu Wang and Hau Chan and Bo An and Xiaoli Li and J. Senthilnath},
journal= {arXiv preprint arXiv:2410.04764},
year = {2024}
}