闭包 drafting 作为深度强化学习中基于第一性原理的可解释性、记忆与泛化能力案例研究
机器学习
2023-11-20 v3 人工智能
摘要
闭包 drafting(或称“选并传”)是一种流行的游戏机制,每轮玩家从手牌中选择一张卡牌或其他可玩元素,并将其余传给下一位玩家。本文建立了研究游玩闭包 drafting 游戏的 Deep Q-Network (DQN) 模型的可解释性、泛化能力和记忆的第一性原理方法。具体而言,我们使用一类流行的闭包 drafting 游戏“Sushi Go Party”,并在其中取得了最先进的性能。我们拟合决策规则以解释训练后 DRL 智能体的决策策略,将其与不同类型人类玩家的排序偏好进行比较。由于 Sushi Go Party 可表示为基于在场卡牌集合的一组紧密关联的游戏,我们量化了在各种卡牌集合上训练的 DRL 模型的泛化能力,建立了一种将智能体性能作为环境陌生度函数进行基准测试的方法。利用闭包 drafting 游戏中其他玩家手牌的显式可计算记忆,我们创建了衡量 DRL 模型学习记忆能力的指标。
引用
@article{arxiv.2310.20654,
title = {Closed Drafting as a Case Study for First-Principle Interpretability, Memory, and Generalizability in Deep Reinforcement Learning},
author = {Ryan Rezai and Jason Wang},
journal= {arXiv preprint arXiv:2310.20654},
year = {2023}
}
备注
4 pages, 4 figures, equal contribution