基于分段线性空间衰减的局部观察抽象技术在战斗模拟中的强化学习
机器学习
2024-08-27 v1 人工智能
摘要
在战斗模拟领域，深度强化学习 (RL) 智能体的训练与部署仍面临诸多挑战 due to 环境的动态性和复杂性。当情景复杂度和可用信息量增加时，训练所需时间不仅增加，常常呈指数级增长。这一关系凸显了复杂度对训练 RL 智能体的深远影响。本文引入一种新方法，旨在解决使用强化学习训练人工智能 (AI) 智能体时的这一局限性。传统的 RL 方法已被证明在高维动态环境中难以应对，原因在于现实的计算约束以及 RL 已知的样本效率不足问题。为克服这些限制，我们提出了一种基于分段线性空间衰减的局部观察抽象方法。这一技术简化了状态空间，降低了计算需求，同时仍保留关键信息，从而在空间关系至关重要的动态环境中提升了 AI 训练效率。我们的分析表明，无论场景复杂度如何提升，基于局部观察的方法始终优于更为传统的全局观察方法。本文推进了关于 RL 观察抽象的研究，阐明了如何通过局部观察和分段线性空间衰减，可为动态环境中大规模状态表示挑战提供有效解决方案。
引用
@article{arxiv.2408.13328,
title = {Localized Observation Abstraction Using Piecewise Linear Spatial Decay for Reinforcement Learning in Combat Simulations},
author = {Scotty Black and Christian Darken},
journal= {arXiv preprint arXiv:2408.13328},
year = {2024}
}