通过球约束最小二乘重构求解最小二乘损失Stackelberg预测博弈
最优化与控制
2022-06-08 v1
摘要
Stackelberg预测博弈（SPG）在刻画学习者与攻击者之间的策略交互方面颇为流行。作为一个重要特例，带最小二乘损失的SPG（SPG-LS）近期受到大量研究关注。尽管最初被表述为一个困难的双层优化问题，SPG-LS容许可处理的重构，可通过半定规划或二阶锥规划在多项式时间内全局求解。然而，现有方法均不擅长处理大规模数据集，尤其是特征数巨大的数据集。本文中，我们探索SPG-LS的一种替代重构。通过一种新颖的非线性变量替换，我们将SPG-LS重写为球约束最小二乘（SCLS）问题。理论上，我们证明SCLS（及SPG-LS）的最优解可在次浮点运算内达到，其中为数据矩阵中非零元素个数。实践中，我们应用两种求解该新重构的知名方法，即Krylov子空间法与黎曼信赖域法。两种算法均无需矩阵分解，故适用于求解大规模问题。在合成与真实数据集上的数值结果表明，配备SCLS重构的SPG-LS求解速度可比最先进水平快数个数量级。
引用
@article{arxiv.2206.02991,
title = {Solving Stackelberg Prediction Game with Least Squares Loss via Spherically Constrained Least Squares Reformulation},
author = {Jiali Wang and Wen Huang and Rujun Jiang and Xudong Li and Alex L. Wang},
journal= {arXiv preprint arXiv:2206.02991},
year = {2022}
}