瓦格纳框架系统化：图论猜想与强化学习
机器学习
2024-09-18 v2
摘要
2021 年，Adam Zsolt Wagner 提出一种利用强化学习 (Reinforcement Learning, RL) 来反驳图论猜想的方法。Wagner 的思想可以概括为：考虑一个猜想，如某个量 f(G) < 0 对每个图 G 都成立；然后进行单人图构建游戏，在每一步，玩家决定是否添加一条边。游戏结束于所有边均被考虑后，得到特定图 G_T，f(G_T) 为游戏的最终得分；随后使用 RL 来最大化此得分。这种精妙想法既简单又创新，利于系统化推广。可以采用多种不同的单人图构建游戏，以及各种 RL 算法。此外，RL 可最大化累积奖励，允许逐步奖励而非单一最终得分，前提是最终累积奖励代表感兴趣的量 f(G_T)。本文讨论了这些以及其他在 Wagner 框架中具有重要意义的选择。作为本系统化贡献，我们提出了四种不同的单人图构建游戏。每种游戏都采用逐步奖励系统和单一最终得分。我们还提出了一种原则方法，用于选择针对给定猜想的最合适神经网络架构，并引入了一套标记为其拉普拉斯谱的图数据集。此外，我们提供了一个关于匹配数和谱半径之和的猜想的反例，该反例比 Wagner 原文中的示例更简单。这些游戏已作为 Gymnasium 框架中的环境实现，随数据集一起作为开源补充材料提供。
引用
@article{arxiv.2406.12667,
title = {A Systematization of the Wagner Framework: Graph Theory Conjectures and Reinforcement Learning},
author = {Flora Angileri and Giulia Lombardi and Andrea Fois and Renato Faraone and Carlo Metta and Michele Salvi and Luigi Amedeo Bianchi and Marco Fantozzi and Silvia Giulia Galfrè and Daniele Pavesi and Maurizio Parton and Francesco Morandin},
journal= {arXiv preprint arXiv:2406.12667},
year = {2024}
}
备注
Accepted at the 27th International Conference on Discovery Science http://ds2024.isti.cnr.it/