参数化马尔可夫决策过程中的综合：1001个参数的故事
人工智能
2018-08-01 v4 最优化与控制
摘要
本文考虑参数化马尔可夫决策过程（pMDPs），其转移由有限参数集上的仿射函数刻画。综合问题是寻找一个参数赋值，使得实例化后的 pMDP 在所有策略下满足给定规范。我们证明该问题可表述为二次约束二次规划（QCQP），且一般而言是非凸的。为应对此类问题的 NP 困难性，我们利用凹凸过程（CCP）迭代地获得局部最优解。CCP 求解器与概率模型检验器之间的恰当协同产生了一个过程——在开源工具 PROPhESY 中实现——可求解具有数千个参数的模型的综合问题。
引用
@article{arxiv.1803.02884,
title = {Synthesis in pMDPs: A Tale of 1001 Parameters},
author = {Murat Cubuktepe and Nils Jansen and Sebastian Junges and Joost-Pieter Katoen and Ufuk Topcu},
journal= {arXiv preprint arXiv:1803.02884},
year = {2018}
}