带一点搜索的人类对齐棋局
机器学习
2024-10-08 v1 人工智能
摘要
棋类游戏长期以来是 AI 探索人类智能的试验田，近年来棋类 AI 系统已超过最强的人类水平。然而，这些系统不具备人类对齐性，无法匹配所有人类合作伙伴的技能水平，或仅能在棋子移动方面模拟人类行为。在本文中，我们引入了 Allie，这是一种旨在弥合人工智能与人类智能在这一经典游戏中的差距的棋类 AI。Allie 基于真实棋局日志序列进行训练，建模全技能水平人类棋手的行为，包括非棋子行为，如思考时间和投局。在离线评估中，我们发现 Allie 表现出人类化行为：它在人类棋局移动预测和“思考”方面均优于现有最先进技术。该模型能够可靠地在每个游戏状态下分配奖励，这可用于在推断阶段作为奖励函数，驱动一种新型时间自适应蒙特卡洛树搜索 (MCTS) 程序，其搜索量取决于人类在相同位置的思考时间。自适应搜索实现了显著的技能校准；在针对 1000-2600 Elo 评分的玩家进行的大规模在线评估中，我们的自适应搜索方法使技能差距仅为 49 Elo，显著优于无搜索和标准 MCTS 的基线方法。对抗 2500 Elo 的冠军级对手时，Allie 带有自适应搜索展现出与同僚冠军相同的水平，同时仅基于人类学习。
引用
@article{arxiv.2410.03893,
title = {Human-aligned Chess with a Bit of Search},
author = {Yiming Zhang and Athul Paul Jacob and Vivian Lai and Daniel Fried and Daphne Ippolito},
journal= {arXiv preprint arXiv:2410.03893},
year = {2024}
}