用于具有观测转移的 ON/OFF 智能体密度控制的安全马尔可夫链
最优化与控制
2016-12-23 v1
摘要
本文提出一种凸优化方法，用于控制具有两种控制模式（ON 和 OFF）的自主移动智能体的密度分布。该模型区别于标准马尔可夫决策模型的主要新特征在于存在 ON 控制模式及其被观测的动作。当智能体处于 ON 模式时，它可以测量对应于 ON 模式的某个动作的瞬时结果，并基于这一新观测决定是否需要采取该动作。若其不采取该动作，则切换到 OFF 模式，在此模式下它根据一组预定的转移概率转移到下一状态，而不进行任何额外观测。在该决策模型中，每个智能体根据 ON/OFF 决策策略自主行动，且智能体状态的离散概率分布按照离散时间马尔可夫链演化，该马尔可夫链是随机环境（即转移概率）和 ON/OFF 决策策略的线性函数。相关的策略综合被表述为一个凸优化问题，其中对所得的马尔可夫矩阵施加了硬性安全性和收敛性约束。我们首先考虑 ON 模式具有单一动作且 OFF 模式具有确定性转移（而非随机转移）的情况，以演示该模型及我们方法背后的思想，随后将其推广到 ON 模式具有多个动作且 OFF 模式具有随机转移的情况。
引用
@article{arxiv.1612.07367,
title = {Safe Markov Chains for Density Control of ON/OFF Agents with Observed Transitions},
author = {Nazli Demirer and Mahmoud El Chamie and Behcet Acikmese},
journal= {arXiv preprint arXiv:1612.07367},
year = {2016}
}
备注
14 pages, submitted as a Journal paper