基于信息论的马尔可夫决策过程中的不透明性强制

本文研究了涉及两个代理人的信息论不透明性——控制随机系统的规划代理人与部分观测系统状态的观察者。观察者的目标是从其部分观测中推断某些由随机变量表示的机密，而规划代理人的目标是在实现满意总回报的同时，使机密对观察者尽可能不透明。我们使用马尔可夫决策过程建模随机系统，考虑两种不透明性属性：一种是确保观察者对最后状态是否位于特定集合上持不确定态的 last-state 不透明性；另一种是确保观察者对初始状态的实现情况持不确定态的 initial-state 不透明性。作为不透明性度量，我们采用捕获观察者从可观测量中泄露关于机密信息的香农条件熵。然后，我们开发了针对总回报约束的不透明性强制规划的原始-对偶策略梯度方法。我们提出了新算法，通过消息传递在隐藏马尔可夫模型中计算每个观测的熵梯度。这种梯度计算使我们能够实现稳定且快速的收敛。我们通过网格世界示例展示了不透明性强制控制的解决方案。