图上最大覆盖问题深度强化学习方法基准研究
机器学习
2024-07-23 v2
摘要
近年来，深度强化学习（Deep-RL）被用于从图的组合优化问题中导出启发式方法，尤其是最大覆盖问题（MCP）及其在社交网络上的概率变体——影响最大化（IM）。本文提出全面的基准研究，系统检验了五种近期在顶级数据科学会议上发表的 Deep-RL 方法对 MCP 与 IM 的有效性与效率：S2V-DQN、Geometric-QN、GCOMB、RL4IM 与 LeNSE。我们的发现表明，在各种情景下，Lazy Greedy 算法始终优于所有 Deep-RL 方法应用于 MCP。IM 方面，理论上成熟的算法如 IMM 与 OPIM 在大多数情景下均优于 Deep-RL 方法。值得注意的是，我们观察到在 IM 问题中存在一种异常现象：当影响传播几乎不随预算增加而增长时，Deep-RL 方法略胜于 IMM 与 OPIM。此外，实验结果还揭示了在实际应用中将 Deep-RL 方法应用于 MCP 与 IM 时的常见问题。最后，我们讨论了改进 Deep-RL 方法的潜在途径。本基准研究揭示了当前深度强化学习研究在解决图上的组合优化问题方面的潜在挑战。
引用
@article{arxiv.2406.14697,
title = {A Benchmark Study of Deep-RL Methods for Maximum Coverage Problems over Graphs},
author = {Zhicheng Liang and Yu Yang and Xiangyu Ke and Xiaokui Xiao and Yunjun Gao},
journal= {arXiv preprint arXiv:2406.14697},
year = {2024}
}
备注
This paper has been accepted by VLDB 2024