用于周长防御游戏的嵌入式均值场强化学习
人工智能
2025-05-21 v1
摘要
随着无人机和导弹技术的快速发展，围绕关键区域的防御游戏在攻击者与防御者之间变得日益复杂且战略意义重大。然而，现有研究主要聚焦于小规模、简化的二维场景，往往忽视了真实环境中的扰动、运动动力学及其内在异质性——这些因素对实际应用构成重大挑战。为弥合这一差距，我们研究了三维环境下的大规模异构周长防御游戏，融入了运动动力学和风场等真实因素。我们推导了攻击者和防御者的纳什均衡策略，描述了胜利区域，并通过大量仿真验证了理论结论。为解决大规模异构控制问题，我们提出了嵌入式均值场演员-评论家（EMFAC）框架。EMFAC利用表示学习实现动作的高级聚合，支持防御者之间的可扩展协调。此外，我们引入基于奖励表示的轻量级代理级注意力机制， selectively 过滤观察和均值场信息，以提升决策效率并加速大规模任务的收敛。广泛的仿真结果表明，EMFAC在收敛速度和整体性能方面均优于既定基线。为进一步验证其实际应用价值，我们在小规模真实实验中测试了EMFAC，并进行了深入分析，深入揭示了该框架在复杂场景中的有效性。
引用
@article{arxiv.2505.14209,
title = {Embedded Mean Field Reinforcement Learning for Perimeter-defense Game},
author = {Li Wang and Xin Yu and Xuxin Lv and Gangzheng Ai and Wenjun Wu},
journal= {arXiv preprint arXiv:2505.14209},
year = {2025}
}