基于离线和在线强化学习的未知动力学多动物行为数据驱动模拟器

动物运动模拟器在研究行为方面发挥着重要作用。机器人学中模仿学习的进展为再现人类和动物运动扩展了可能性。生物学中逼真的多动物模拟的一个关键挑战是弥合未知的真实世界转移模型与其模拟对应物之间的差距。由于运动动力学很少已知,仅依赖数学模型是不够的;构建一个既能再现真实轨迹又能支持奖励驱动优化的模拟器仍然是一个开放问题。我们引入了一个基于深度强化学习和反事实模拟的多动物行为数据驱动模拟器。我们通过将不完整转移模型的运动变量估计为RL框架内的动作,来解决由运动自由度较高引起的问题的不适定性。我们还采用基于距离的伪奖励来对齐和比较虚拟空间和物理空间中的状态。在人工代理、果蝇、蝾螈和蚕蛾上验证,与标准模仿和RL方法相比,我们的方法实现了物种特定行为的更高可重复性和改进的奖励获取。此外,它能够在新的实验设置中进行反事实行为预测,并支持多个体建模以实现灵活的假设轨迹生成,这表明了其模拟和阐明复杂多动物行为的潜力。