面向对抗鲁棒模型的超参数调优
机器学习
2024-06-14 v3
摘要
本工作关注鲁棒（即对抗训练的）模型的超参数调优（HPT）问题，阐明鲁棒模型 HPT 过程中出现的新的挑战与机遇。为此，我们基于 3 种流行深度模型开展了广泛的实验研究，其中详尽探索了 9 个（离散化）超参数、2 个保真度维度和 2 个攻击边界，共计 19208 种配置（对应 5 万 GPU 小时）。通过该研究发现，由于需要独立调优标准训练与对抗训练中所用的超参数，HPT 问题的复杂性在对抗环境下进一步加剧：成功做到这一点（即在两个阶段采用不同超参数设置）可使干净与对抗输入的错误率分别降低多达 80% 和 43%。另一方面，我们也识别出降低鲁棒模型 HPT 成本的新机遇。具体而言，我们提议利用廉价的对抗训练方法，获得使用最先进方法所能达成质量的低成本但高度相关的估计。我们展示，通过将这一新思路与近期多保真度优化器（taKG）结合，HPT 过程的效率可提升多达 2.1 倍。
引用
@article{arxiv.2304.02497,
title = {Hyper-parameter Tuning for Adversarially Robust Models},
author = {Pedro Mendes and Paolo Romano and David Garlan},
journal= {arXiv preprint arXiv:2304.02497},
year = {2024}
}