自适应扩散地形生成器用于自主不均匀地形导航

无模型强化学习已成为 Developing robust robot control policies 以导航穿越复杂和非结构化地形的强大方法。其有效性取决于两个关键要素：(1) 使用大规模并行物理仿真加速策略训练，以及 (2) 环境生成器负责构建足够具有挑战性又可实现的地形以促进持续的策略改进。现有方法往往依赖受参数约束的启发式方法，限制了多样性和真实性。在本工作中，我们引入了自适应扩散地形生成器 (ADTG)，这是一种新方法，利用去噪扩散概率模型动态扩展现有训练环境，通过添加更具多样性和复杂性的地形来适应当前策略。ADTG 通过初始噪声优化引导扩散模型的生成过程，将来自现有训练环境中加权噪声扰动的地形，其权重取决于策略在各对应环境中的性能。通过操控噪声扰动水平，ADTG 可无缝地在策略微调之间生成相似地形，或扩展训练多样性以生成新地形。我们的实验表明，由 ADTG 训练的策略在procedural 生成的环境和自然环境中均优于流行的导航方法。