IntervalMDP.jl：区间马尔可夫决策过程的加速值迭代
系统与控制
2024-04-30 v2 计算机科学中的逻辑
系统与控制
摘要
在本文中，我们介绍IntervalMDP.jl，一个用于区间马尔可夫决策过程（IMDPs）概率分析的Julia包。IntervalMDP.jl有助于针对可达性规约和折扣奖励性质合成最优策略并验证IMDPs。该库支持稀疏矩阵，并兼容来自概率模型分析常用工具（如PRISM）的数据格式。IntervalMDP.jl的一个关键特性是，它同时提供了IMDPs值迭代算法的多线程CPU实现和GPU加速实现。特别地，IntervalMDP.jl利用Julia的类型系统和值迭代固有的可并行化特性，提高了执行IMDPs分析的效率。在一组示例上，我们展示了IntervalMDP.jl在计算时间和内存消耗方面均显著优于现有的IMDPs验证和策略合成工具。
引用
@article{arxiv.2401.04068,
title = {IntervalMDP.jl: Accelerated Value Iteration for Interval Markov Decision Processes},
author = {Frederik Baymler Mathiesen and Morteza Lahijanian and Luca Laurenti},
journal= {arXiv preprint arXiv:2401.04068},
year = {2024}
}