AIVAT：一种用于不完美信息博弈中智能体评估的新方差缩减技术
人工智能
2017-01-23 v2
摘要
当结果具有随机性且智能体使用随机化策略时，在可用数据有限的情况下评估智能体性能可能具有挑战性。采样结果的方差可能使得蒙特卡洛采样的简单方法不够充分。这在智能体进行单挑无限注德州扑克时就是如此，人机对战涉及多日的持续比赛，即使胜者优势显著，仍未能得出统计上显著的结论。在本文中，我们介绍了 AIVAT，一种低方差、可证明无偏的价值评估工具，它使用对状态价值的任意启发式估计，以及部分智能体的显式策略。与仅减少偶然事件方差或仅考虑游戏结束动作的现有技术不同，AIVAT 同时减少了由自然和已知策略玩家选择带来的方差。在无限注扑克中，由此产生的估计器可将得出统计结论所需的手数减少超过 10 倍。
引用
@article{arxiv.1612.06915,
title = {AIVAT: A New Variance Reduction Technique for Agent Evaluation in Imperfect Information Games},
author = {Neil Burch and Martin Schmid and Matej Moravčík and Michael Bowling},
journal= {arXiv preprint arXiv:1612.06915},
year = {2017}
}
备注
To appear at AAAI-17 Workshop on Computer Poker and Imperfect Information Games