离散 POMDP 观测上的欺骗核函数
人工智能
2020-08-14 v1
摘要
本文研究在部分可观测马尔可夫决策过程中对智能体施加的欺骗。我们引入应用于离散 POMDP 中智能体观测的欺骗核函数（the kernel）。基于智能体使用的价值迭代、值函数近似和 POMCP 三种特征算法，我们分析其信念被伪造观测（即核函数的输出）误导的情况，并预期其对智能体奖励及其他潜在性能的可能威胁。我们在两个 POMDP 问题上通过实验验证了预期，并探究了欺骗的更多有害影响。结果表明，应用于智能体观测的核函数可影响其信念并大幅降低其所得奖励；同时核函数的某种实现可诱发智能体的其他异常行为。
引用
@article{arxiv.2008.05585,
title = {Deceptive Kernel Function on Observations of Discrete POMDP},
author = {Zhili Zhang and Quanyan Zhu},
journal= {arXiv preprint arXiv:2008.05585},
year = {2020}
}
备注
22 pages, 5 figures