使用可微分优化技术最小化决策聚焦学习中的替代损失
机器学习
2025-08-26 v2 人工智能
摘要
决策聚焦学习 (DFL) 训练机器学习 (ML) 模型以预测优化问题的参数，以直接最小化决策后悔，即最大化决策质量。梯度基的 DFL 需要计算解决方案相对于预测参数的导数。然而，对于许多优化问题，如线性规划 (LP)，与预测参数相关的后悔的梯度几乎处处为零。现有的 LP 针对 DFL 的梯度方法以两种方式之一来规避此问题：(a) 通过添加二次正则项将 LP 平滑为可微分优化问题，然后直接最小化后悔；或 (b) 最小化具有信息性(子)梯度的替代损失。本文表明，前者方法仍导致零梯度，因为即使在平滑后，后悔在参数空间的大区域仍保持恒定。为此，我们提出即使使用可微分优化层且可以直接最小化后悔，也最小化替代损失。我们的实验表明，最小化替代损失使可微分优化层在 DFL 方法中实现的后悔与基于替代损失的方法相当或更好。进一步，我们表明这也适用于最近提出的用于 LP 的可微分优化技术 DYS-Net，其通过可使用前馈神经网络层执行的运算来计算近似解和梯度。由于 DYS-Net 在前向和反向传递中执行效率极高，通过最小化替代损失使用 DYS-Net，我们能够以与 SOTA 相当的后悔实现，同时显著减少训练时间。
引用
@article{arxiv.2508.11365,
title = {Minimizing Surrogate Losses for Decision-Focused Learning using Differentiable Optimization},
author = {Jayanta Mandi and Ali İrfan Mahmutoğulları and Senne Berden and Tias Guns},
journal= {arXiv preprint arXiv:2508.11365},
year = {2025}
}