FMRFT：用于查询时间序列交叉鱼类跟踪的融合Mamba与DETR
计算机视觉与模式识别
2025-01-13 v3 人工智能
摘要
通过深度学习技术实现对因疾病或饥饿引起的异常鱼类行为的早期检测，对于工业化养殖业具有重要价值。然而，水下反射以及鱼类本身的某些因素（如高度相似性、受刺激后的快速游动以及相互遮挡），给多目标鱼类跟踪带来了挑战。为解决这些挑战，本文构建了一个复杂多场景鲟鱼跟踪数据集，介绍了FMRFT模型，即一个实时端到端的鱼类跟踪解决方案。该模型采用低视频内存消耗的Mamba In Mamba（MIM）架构，实现了多帧时序记忆和特征提取，从而解决了跨帧跟踪多只鱼的挑战。此外，基于RT-DETR中优异的特征交互和先行帧处理能力，FMRFT模型引入查询时间序列交叉（QTSI）模块，有效管理遮挡目标并减少冗余跟踪帧。该组合显著提升了鱼类跟踪的准确性和稳定性。在该数据集上进行训练和测试后，模型实现了90.3%的IDF1得分和94.3%的MOTA准确率。实验结果表明，提出的FMRFT模型有效解决了鱼群中高度相似性和相互遮挡的挑战，使工厂养殖环境下的鱼类跟踪能够精确进行。
引用
@article{arxiv.2409.01148,
title = {FMRFT: Fusion Mamba and DETR for Query Time Sequence Intersection Fish Tracking},
author = {Mingyuan Yao and Yukang Huo and Qingbin Tian and Jiayin Zhao and Xiao Liu and Ruifeng Wang and Lin Xue and Haihua Wang},
journal= {arXiv preprint arXiv:2409.01148},
year = {2025}
}
备注
14 pages,14 figures