用于策略多智能体环境的图神经网络、深度强化学习与概率主题建模

本文对主要的GNN、DRL和PTM方法进行了全面综述，重点关注它们在策略多智能体环境中的潜在应用。我们引起对以下两方面的兴趣：用于揭示适用于策略对手建模任务的未知模型结构的机器学习（ML）方法；以及这些方法与博弈论概念的整合，这些概念避免了依赖在现实场景中通常不成立的假设，如共同先验假设（CPA）和自利假设（SIH）。我们分析了处理不确定性和异质性的能力，这两种特性在现实应用案例中非常普遍，同时分析了可扩展性。作为对多智能体环境中关系与交互进行有效建模的潜在方案，我们倡导使用GNN。此类方法专为处理图结构数据而设计，已被证明是执行节点分类和链接预测等任务的强大工具。接下来，我们回顾了强化学习（RL）领域，特别是多智能体深度强化学习。单智能体深度RL已广泛应用于高难度博弈环境中的决策。然而，由于智能体间关系的变化和环境的非平稳性等因素，其在多智能体环境中的应用受到阻碍。我们描述了现有的相关博弈论解概念，并考虑了公平性和稳定性等性质。我们的综述最后对在文档分析与分类以外的领域利用概率主题建模（PTM）的文献进行了注记。最后，我们指出了若干开放挑战——具体而言，即需要：适应非平稳环境，平衡稳定性与适应性的程度，应对不确定性与异质性，保证可扩展性与解的可处理性。