利用MCTSnets学习搜索
人工智能
2018-07-18 v2 机器学习
机器学习
摘要
规划问题是人工智能中最重要且研究最充分的问题之一。它们最典型地由树搜索算法求解，这类算法向前模拟未来、评估未来状态并将这些评估回溯至搜索树的根。在这些算法中，蒙特卡洛树搜索（Monte-Carlo tree search, MCTS）是最通用、强大且广泛使用的算法之一。MCTS的典型实现使用巧妙设计的规则，针对领域特性进行优化。这些规则控制模拟的遍历位置、在到达状态中评估什么以及如何回溯那些评估。本文中，我们转而学习在何处搜索、搜索什么以及怎样搜索。我们称为MCTSnet的架构通过将基于模拟的搜索嵌入神经网络中，以扩展、评估和回溯向量嵌入来实现。网络参数通过基于梯度的优化进行端到端训练。当应用于著名规划问题Sokoban中的小规模搜索时，该学习到的搜索算法显著优于MCTS基线。
引用
@article{arxiv.1802.04697,
title = {Learning to Search with MCTSnets},
author = {Arthur Guez and Théophane Weber and Ioannis Antonoglou and Karen Simonyan and Oriol Vinyals and Daan Wierstra and Rémi Munos and David Silver},
journal= {arXiv preprint arXiv:1802.04697},
year = {2018}
}
备注
ICML 2018 (camera-ready version)