基于 Karush-Kuhn-Tucker 条件训练的神经网络（KKT 网络）
机器学习
2024-10-22 v1 人工智能
神经与进化计算
最优化与控制
摘要
本文提出了一种新方法，用于求解凸优化问题，利用在某些正则性条件下，满足 Karush-Kuhn-Tucker (KKT) 条件的任意 primal 或 dual 变量都是最优性的必要且充分条件。类似于 Theory-Trained Neural Networks (TTNNs)，将凸优化问题的参数输入到神经网络，期望输出为最优 primal 和 dual 变量。本文中该情况下的损失函数选择为我们称为 KKT 损失的损失，用于衡量网络输出是否良好地满足 KKT 条件。我们以线性规划为例演示了该方法的有效性。对于该问题，我们观察到仅最小化 KKT 损失的效果优于以数据损失（网络输出与真实最优解之间的均方误差）和 KKT 损失加权求和形式训练。此外，仅最小化数据损失的结果不如最小化 KKT 损失。尽管该方法前景光明，但获得的 primal 和 dual 解与真实最优解不够接近。未来，我们旨在开发更好的模型以获得更接近真实最优解的解，并将该方法扩展到其他问题类别。
引用
@article{arxiv.2410.15973,
title = {Karush-Kuhn-Tucker Condition-Trained Neural Networks (KKT Nets)},
author = {Shreya Arvind and Rishabh Pomaje and Rajshekhar V Bhat},
journal= {arXiv preprint arXiv:2410.15973},
year = {2024}
}