MABe22：用于行为学习表示的多物种多任务基准
机器学习
2023-07-04 v2 人工智能
计算机视觉与模式识别
多智能体系统
摘要
我们提出 MABe22，一个大规模、多智能体视频与轨迹基准，用于评估所学行为表示的质量。该数据集采集自多种生物学实验，包括交互小鼠三元组（470 万帧视频+姿态追踪数据，1000 万帧仅姿态数据）、共生甲虫-蚂蚁交互（1000 万帧视频数据）以及交互苍蝇群体（440 万帧姿态追踪数据）。伴随这些数据，我们引入一组真实下游分析任务，通过评估所学表示对实验条件（如品系、一天中的时间、光遗传刺激）与动物行为的保存程度来衡量其质量。我们测试了多种最先进的自监督视频与轨迹表示学习方法以展示本基准的使用，揭示出基于人类动作数据集开发的方法并未完全迁移至动物数据集。我们希望我们的基准与数据集能鼓励在跨物种与跨场景下对行为表示学习方法的更广泛探索。
引用
@article{arxiv.2207.10553,
title = {MABe22: A Multi-Species Multi-Task Benchmark for Learned Representations of Behavior},
author = {Jennifer J. Sun and Markus Marks and Andrew Ulmer and Dipam Chakraborty and Brian Geuther and Edward Hayes and Heng Jia and Vivek Kumar and Sebastian Oleszko and Zachary Partridge and Milan Peelman and Alice Robie and Catherine E. Schretter and Keith Sheppard and Chao Sun and Param Uttarwar and Julian M. Wagner and Eric Werner and Joseph Parker and Pietro Perona and Yisong Yue and Kristin Branson and Ann Kennedy},
journal= {arXiv preprint arXiv:2207.10553},
year = {2023}
}
备注
To appear in ICML 2023, Project website: https://sites.google.com/view/computational-behavior/our-datasets/mabe2022-dataset