基于自监督学习的多智能体行为分析关键点发现
计算机视觉与模式识别
2024-09-17 v1
摘要
通过多智能体视频分析研究社会互动和集体行为在生物学中至关重要。尽管自监督关键点发现已成为减少对手动关键点标注需求的有前景的解决方案，但现有方法在包含多个相互作用智能体（尤其是相同种类和颜色的智能体）的视频中常常难以应对。为此，我们引入了 B-KinD-multi，这是一种新方法，利用预训练的视频分割模型指导多智能体情境下的关键点发现。这一方法消除了对新实验场景和新物种进行耗时的手动标注的需求。广泛的评估表明，我们的方法在蝇、老鼠和大鼠的视频中实现了改进的关键点回归和下游行为分类。此外，我们的方法对其他物种（包括蚂蚁、蜜蜂和人类）也表现出良好的推广性，凸显了其在自动化多智能体行为分析中进行关键点标注的广泛应用潜力。代码已公开：https://danielpkhalil.github.io/B-KinD-Multi
引用
@article{arxiv.2409.09455,
title = {Learning Keypoints for Multi-Agent Behavior Analysis using Self-Supervision},
author = {Daniel Khalil and Christina Liu and Pietro Perona and Jennifer J. Sun and Markus Marks},
journal= {arXiv preprint arXiv:2409.09455},
year = {2024}
}