在线动态规划
机器学习
2025-07-10 v4
摘要
我们为组合在线学习问题提出了一种通用方法，这些问题的离线优化问题可以通过由任意最小和递推定义的动态规划算法高效求解。示例包括二叉搜索树、矩阵链乘法、k-集合、背包问题、杆切割以及加权区间调度的在线学习。对于这些问题中的每一个，我们使用其子问题底层图（称为多 DAG）来定义动态规划问题解的表示，通过将其编码为一种广义的路径（称为多路径）。这些多路径将每个解编码为一系列连续的决策或组件，损失在这些组件上是线性的。然后，我们证明每个问题的动态规划算法都能导出用于在底层多 DAG 中学习多路径的在线算法。这些算法以简洁的形式维护一个多路径上的分布作为其假设。更具体地说，我们将现有的用于在线最短路径问题的 Expanded Hedge 和 Component Hedge 算法推广到多路径学习。此外，我们为 Component Hedge 引入了一种新的、更快的预测技术，在我们的案例中，该技术直接从多路径上的分布中采样，绕过了将多路径上的分布分解为小支撑混合分布的需要。
引用
@article{arxiv.1706.00834,
title = {Online Dynamic Programming},
author = {Holakou Rahmanian and Manfred K. Warmuth and S. V. N. Vishwanathan},
journal= {arXiv preprint arXiv:1706.00834},
year = {2025}
}