利用事件相机进行低功耗连续远程行为定位
计算机视觉与模式识别
2025-06-25 v2 人工智能
摘要
自然科学研究人员需要可靠的方法来量化动物行为。近期，出现了许多计算机视觉方法来实现该过程的自动化。然而，由于光照条件困难以及电力和数据存储的限制，在偏远地点观察野生物种仍然是一项具有挑战性的任务。事件相机由于其低功耗和高动态范围能力，为依赖电池的远程监控提供了独特优势。我们使用这种新型传感器来量化帽带企鹅一种称为“狂喜展示”的行为。我们将该问题表述为时序动作检测任务，确定该行为的开始和结束时间。为此，我们在南极洲对一个繁殖期的企鹅群落进行了数周的记录，并对16个巢穴的事件数据进行了标注。所开发的方法由候选时间间隔（提议）生成器和其中动作的分类器组成。实验表明，事件相机对运动的自然响应对于连续行为监测和检测是有效的，达到了58%的平均精度均值（mAP）（在良好天气条件下提升至63%）。结果还证明了对这一具有挑战性的数据集中包含的各种光照条件的鲁棒性。事件相机的低功耗特性使其能够比传统相机记录的时间显著延长。这项工作开创了使用事件相机进行远程野生动物观察的先河，开辟了新的跨学科机遇。https://tub-rip.github.io/eventpenguins/
引用
@article{arxiv.2312.03799,
title = {Low-power, Continuous Remote Behavioral Localization with Event Cameras},
author = {Friedhelm Hamann and Suman Ghosh and Ignacio Juarez Martinez and Tom Hart and Alex Kacelnik and Guillermo Gallego},
journal= {arXiv preprint arXiv:2312.03799},
year = {2025}
}
备注
13 pages, 8 figures, 12 tables, Project page: https://tub-rip.github.io/eventpenguins/