超越任务表现的评估：在六子棋中分析 AlphaZero 的概念
人工智能
2022-11-29 v1
摘要
AlphaZero 是一种将神经网络与蒙特卡洛树搜索（MCTS）相结合的强化学习方法，已在国际象棋、围棋、将棋和六子棋等传统棋盘游戏中产生了最先进的策略。尽管研究人员和棋评人提出 AlphaZero 使用了人类认为重要的概念，但这些概念如何在网络中体现尚不清楚。我们利用自然语言处理（NLP）中的两种评估技术——模型探测和行为测试——来研究 AlphaZero 在六子棋中的内部表示。在此过程中，我们向强化学习社区引入了全新的评估工具，并说明了除任务表现之外的评估如何用于更全面地刻画模型的优势与不足。我们在六子棋中的分析揭示了有趣的模式，并提出了关于此类模型一般如何学习的一些可检验假设。例如，我们发现 MCTS 在神经网络学会编码这些概念之前就已发现了它们。我们还发现，与短期终局规划相关的概念在模型的最终层编码得最好，而与长期规划相关的概念则在模型的中间层编码。
引用
@article{arxiv.2211.14673,
title = {Evaluation Beyond Task Performance: Analyzing Concepts in AlphaZero in Hex},
author = {Charles Lovering and Jessica Zosa Forde and George Konidaris and Ellie Pavlick and Michael L. Littman},
journal= {arXiv preprint arXiv:2211.14673},
year = {2022}
}
备注
10 pages, Neural Information Processing Systems 2022