随机最优控制损失函数分类
机器学习
2024-10-29 v2 最优化与控制
机器学习
摘要
随机最优控制（SOC）旨在引导噪声系统的行为，在科学、工程和人工智能领域具有广泛应用。特别是，对扩散模型和流匹配模型进行奖励微调以及从非规范方法进行采样，可以被重新表述为 SOC问题。最近的工作引入了 Adjoint Matching（Domingo-Enrich 等，2024），这是一种用于 SOC问题的损失函数，在奖励微调设置下显著优于现有损失函数。本工作旨在阐明所有现有（以及一些新的）SOC损失函数之间的联系。也就是说，我们表明，SOC损失函数可以归类为共享相同期望梯度的类别，这意味着它们的优化景观是相同的；它们仅在梯度方差上有所不同。我们进行简单的 SOC 实验以了解不同损失函数的优缺点。
引用
@article{arxiv.2410.00345,
title = {A Taxonomy of Loss Functions for Stochastic Optimal Control},
author = {Carles Domingo-Enrich},
journal= {arXiv preprint arXiv:2410.00345},
year = {2024}
}