CBIL：基于真实视频的集体行为模仿学习
图形学
2025-04-02 v1 计算机视觉与模式识别
摘要
再现逼真的集体行为具有引人入胜 yet 巨大挑战性。传统基于规则的方法依赖人工设计的原则，限制了生成集体行为的运动多样性和真实性。近期的模仿学习方法从数据中学习，但通常需要 ground truth 运动轨迹，且在高密度群体中难以保证真实性，尤其是运动异常时。本文提出了一种可扩展的方法——集体行为模仿学习 (CBIL)，用于直接从视频中学习鱼群行为，无需依赖捕获的运动轨迹。该方法首先利用视频表示学习，通过掩码视频自编码器 (MVAE) 以自监督方式从视频输入中提取隐式状态。MVAE 有效地将 2D 观察映射到隐式状态，这些状态在模仿学习阶段具有紧凑性和表达性。随后，我们提出一种新颖的对抗式模仿学习方法，有效捕捉鱼群的复杂运动，允许在潜在空间中高效地拟合运动模式分布。该方法还结合了受生物启发的奖励与先验，以正则化和稳定训练过程。训练完成后，CBIL 可用于various animation任务，运用所学习的集体运动先验。我们进一步展示了其在不同物种上的有效性。最后，我们展示了该系统用于从野外视频中检测异常鱼类行为的应用。
引用
@article{arxiv.2504.00234,
title = {CBIL: Collective Behavior Imitation Learning for Fish from Real Videos},
author = {Yifan Wu and Zhiyang Dou and Yuko Ishiwaka and Shun Ogawa and Yuke Lou and Wenping Wang and Lingjie Liu and Taku Komura},
journal= {arXiv preprint arXiv:2504.00234},
year = {2025}
}