大规模生态环境中复杂行为的涌现

我们探讨了物理尺度和种群大小如何塑造开放性生态环境中复杂行为的涌现。在我们的设置中，代理人是无监督的，没有明确的奖励或学习目标，而是根据繁殖、突变和选择演化。当代理人行动时，也会塑造他们周围的环境和种群形成持续的动态生态学。我们的目标不是优化单个高性能政策，而是检查行为如何由于自然竞争和环境压力在大型种群中涌现和演化。我们利用现代硬件和一种新的多代理模拟器，将环境和种群规模扩展到此前尝试过的更大规模，达到超过 60,000 个代理人，每个代理人都有自己的进化神经网络政策。我们识别出各种涌现行为，如远程资源提取、基于视觉的觅食和捕食，这些行为在竞争和生存压力下出现。我们检查了感知模态和环境尺度对这些行为涌现的影响，发现其中一些行为仅在足够大的环境和种群中出现，更大的尺度增加了这些涌现行为的稳定性和一致性。虽然进化环境的研究历史悠久，但我们在现代硬件上的规模化结果为探索生态学作为机器学习工具的新方向提供了前景，这是日益增长的计算资源和高效机器框架的时代。实验代码可在 https://github.com/jbejjani2022/ecological-emergent-behavior 获取。