基于方向性攻击的优化：使用神经网络替代器求解问题

本文解决一类目标函数和约束涉及已训练神经网络（NN）的优化问题，目标是最大化 $f(\Phi(x))$ 受约束 $c(\Phi(x)) \leq 0$ 限制，其中 $f$ 为光滑函数，$c$ 为通用且不严格的函数，$\Phi$ 为已训练且可能为非白盒的 NN。我们关注两个挑战：识别局部搜索的上升方向，以及确保可靠地收敛到相关局部解。为此，我们重新利用方向性 NN 攻击作为高效优化子程序，因为方向性 NN 攻击利用 NN 的结构计算扰动 $x$ 以引导 $\Phi(x)$ 朝指定方向。具体而言，我们开发了一个在任意 $x$ 处沿方向 $\nabla f(\Phi(x))$ 计算攻击的攻击算子。随后，我们提出一种混合算法，将攻击算子与无导数优化（DFO）技术结合，旨在通过保持对问题结构的无意识来实现数值可靠性。我们考虑 cDSM 算法，该算法在对问题施加温和假设后，提供渐近收敛到局部解的保证。该方法在攻击驱动的启发式且快速的局部强化与 cDSM 步骤（用于认证收敛和数值可靠性）之间交替。三个实验结果表明，这种混合方法一致优于标准 DFO 框架。