计算AD兼容的凸松弛函数的次梯度
最优化与控制
2025-01-31 v1 数值分析
数值分析
摘要
自动生成凸松弛及其次梯度在 global optimization 中至关重要，通常使用变体的自动/算法微分(AD)来实现。此前的AD会议上，展示了用于评估 composite 函数的凸松弛准次梯度的 forward 和 reverse AD 模式的变体。在一种最近的方法中，这些松弛被构建为 optimal-value 函数；这种表述非常灵活，但使 sensitivity analysis 变得复杂。我们提出了用于这些 implicit function relaxations 的第一个次梯度传播规则，基于提供的 AD-like 知识来构建。我们的新的次梯度规则允许 implicit function relaxations 被添加到 forward AD 模式的元素函数库中，用于次梯度传播的 convex relaxations。我们在 Julia 中展示了概念性数值结果。
引用
@article{arxiv.2501.18471,
title = {Computing AD-compatible subgradients of convex relaxations of implicit functions},
author = {Yingkai Song and Kamil A. Khan},
journal= {arXiv preprint arXiv:2501.18471},
year = {2025}
}
备注
13 pages, 3 figures