基于外观与运动特征的企鹅检测与识别

在动物设施中，对企鹅的持续监视至关重要，但由于其视觉特征相似、姿态变化迅速且频繁，以及水面反射等环境噪声，技术实现具有挑战性。本研究提出了一种框架，通过整合外观特征和运动特征来增强检测与识别性能。对于检测，我们改进了 YOLO11 以处理连续帧，以克服单帧检测器缺乏时间一致性的问题。该方法利用运动线索即使在视觉特征遮蔽时也能进行检测。我们的评估表明，使用两帧输入微调模型可将 [email protected] 从 0.922 提升至 0.933，优于基线模型，并成功恢复在静态图像中难以区分的个体。对于识别，我们引入一种基于 tracklet 的对比学习方法，用于跟踪后的处理。通过定性可视化，我们展示该方法产生连贯的特征嵌入，将来自同一个体的样本在特征空间中更接近，表明其在减轻 ID 切换方面具有潜力。