基于三流网络的肉牛交互实时识别

在肉牛养殖中，基于计算机视觉的方法已被广泛用于监测牛的状态（如体格、生理与健康）。为此，准确有效地识别牛的动作是前提。一般而言，现有多数模型局限于个体行为，使用基于视频的方法提取时空特征以识别每头牛的个体动作。然而，牛具有社会性，其交互通常反映重要状态（如发情），且基于视频的方法忽视了模型的实时能力。基于此，本文攻克单帧中肉牛间交互实时识别这一挑战性任务。我们的方法流程包括两个主要模块：牛定位网络与交互识别网络。每时刻，牛定位网络从每头被检测牛输出高质量交互提议，并将其送入具有三流架构的交互识别网络。该三流网络使我们能融合与交互识别相关的不同特征。具体而言，三类特征为：提取交互提议外观表示的视觉特征、反映牛间空间关系的几何特征，以及捕捉牛个体动作与交互关系先验知识的语义特征。此外，为解决标注数据量不足问题，我们基于自监督学习预训练模型。定性与定量评估证明了我们的框架作为实时识别牛交互有效方法的性能。