Q学习驱动的自适应重连用于异构网络中的合作控制

多智能体系统中的合作涌现是一个基本的统计物理问题，其中微观学习规则驱动宏观集体行为的转变。我们提出了一种基于Q学习的自适应重连变体，它建立在文献中已研究的机制之上。该方法将时序差分学习与网络重构相结合，使智能体能够基于交互历史优化策略和社交连接。通过邻居特定的Q学习，智能体发展出复杂的伙伴关系管理策略，从而促成合作者集群的形成，在合作与背叛区域之间创造空间分离。利用反映现实世界异构连接模式的无标度网络，我们评估了在不同重连约束水平下的涌现行为，揭示了参数空间中并非急剧热力学转变的独特合作模式。我们的系统分析识别出三种行为区域：允许合作集群快速形成的宽松区域（低约束）、对困境强度具有敏感依赖性的中间区域，以及通过策略性积累逐步优化网络结构的耐心区域（高约束）。仿真结果表明，虽然中等约束会形成抑制合作的类转变区域，但完全自适应的重连通过系统性地探索有利的网络配置来提高合作水平。定量分析揭示，增加的重连频率驱动了具有幂律规模分布的大规模集群形成。我们的结果为理解复杂自适应系统中智能驱动的合作模式形成建立了一个新范式，揭示了机器学习如何作为多智能体网络中自发组织的替代驱动力。