基于嵌入空间深度强化学习的选择性网络发现
机器学习
2020-10-23 v2 机器学习
摘要
复杂网络往往要么过大而无法全面探索，要么部分可访问，要么部分被观测。在这些不完整网络上的下游学习任务可能产生低质量的结果。此外，降低网络的不完整性可能代价高昂且非平凡。因此，在资源收集约束下针对特定下游学习任务优化的网络发现算法备受关注。在本文中，我们将不完整网络设置中的任务特定网络发现问题表述为一个序列决策问题。我们的下游任务是选择性采集，即最优地收集具有特定属性的顶点。我们提出了一个称为网络行动者-评论家（Network Actor Critic, NAC）的框架，该框架通过深度强化学习算法在离线设置中学习策略和未来奖励的概念。NAC范式利用任务特定的网络嵌入来降低状态空间复杂度。针对多种流行网络嵌入在支持离线规划中的作用，我们给出了详细的比较分析。此外，我们使用NAC和若干基线在多个合成与真实基准上进行了定量研究。我们表明，与有竞争力的在线发现算法相比，离线的奖励模型和网络发现策略可带来显著改进的性能。最后，我们概述了规划在应对稀疏且变化的奖励信号中至关重要的学习机制。
引用
@article{arxiv.1909.07294,
title = {Selective Network Discovery via Deep Reinforcement Learning on Embedded Spaces},
author = {Peter Morales and Rajmonda Sulo Caceres and Tina Eliassi-Rad},
journal= {arXiv preprint arXiv:1909.07294},
year = {2020}
}
备注
Submitted for review to the journal of applied network science (2020). This adds several new sections from the original complex networks submission which can be viewed under v1 or at https://link.springer.com/chapter/10.1007/978-3-030-36687-2_75