Inside madupite：技术设计与性能
软件工程
2025-07-31 v1
摘要
在本工作中，我们介绍并基准测试 madupite，这是一个新提出的高性能求解器，专为大规模折扣无限期马尔可夫决策过程（MDP）而设计，其中具有有限的状态和动作空间。后简要概述madupite所依赖的优化方法类别，我们提供实现选择、技术设计和部署细节。随后，我们通过展示其在来自不同应用领域的马尔可夫决策过程求解上的性能来展示其可扩展性和效率，包括流行病学和经典控制。madupite 设立了新的标准，因为据我们所知，它是唯一能够高效计算大规模马尔可夫决策过程精确解的求解器，即使这些解超过了现代笔记本电脑的内存容量且在接近非折扣设置下也能正常工作。这一可能是由于madupite 可以完全分布式地工作，从而利用现代高性能计算集群的内存存储和计算能力。这一关键特性使求解器能够以精确方式高效处理中到大型规模的问题，而无需必然求助于函数近似。此外，madupite 独特之处在于允许用户自定义解决方案算法以更好地利用其问题的特定结构，显著加快收敛速度，尤其是在大折扣系数设置下。总体而言，madupite 代表着重大进展，为解决大规模马尔可夫决策过程提供了卓越的可扩展性和灵活性。
引用
@article{arxiv.2507.22538,
title = {Inside madupite: Technical Design and Performance},
author = {Matilde Gargiani and Robin Sieber and Philip Pawlowsky and John Lygeros},
journal= {arXiv preprint arXiv:2507.22538},
year = {2025}
}