动作中的流快照神经元：深度神经网络泛化到生物运动感知
计算机视觉与模式识别
2024-10-31 v2
摘要
生物运动感知（BMP）是指人类仅从运动模式（有时像点光源显示器上描绘的那样微小）感知和识别生物体动作的能力。虽然人类在没有事先训练的情况下擅长这些任务，但当前的AI模型在泛化性能上表现不佳。为了缩小这一研究差距，我们提出了运动感知器（MP）。MP仅依赖视频片段中的补丁级光流作为输入。在训练期间，它通过竞争性绑定机制学习原型流快照，并整合不变的运动表示来预测给定视频的动作标签。在推理期间，我们评估了所有AI模型和人类在神经科学中使用点光源显示器跨越24个BMP条件的62,656个视频刺激上的泛化能力。值得注意的是，MP在这些条件下以最大29%的top-1动作识别准确率提升优于所有现有AI模型。此外，我们在计算机视觉的两个标准视频数据集的点光源显示器中对所有AI模型进行了基准测试。MP在这些情况下也表现出优越的性能。更有趣的是，通过心理物理学实验，我们发现MP以与人类行为一致的方式识别生物运动。我们的数据和代码可在https://github.com/ZhangLab-DeepNeuroCogLab/MotionPerceiver获取。
引用
@article{arxiv.2405.16493,
title = {Flow Snapshot Neurons in Action: Deep Neural Networks Generalize to Biological Motion Perception},
author = {Shuangpeng Han and Ziyu Wang and Mengmi Zhang},
journal= {arXiv preprint arXiv:2405.16493},
year = {2024}
}