基于相似性感知 Transformer 的智能鱼类检测系统
机器人学
2024-10-01 v1
摘要
水陆转换中的鱼类检测已为渔业业界提供了显著帮助。然而， crowd-collaboration下的手动鱼类检测效率低下且成本高昂，且检测精度不足。为进一步提升水陆转换效率、提高检测精度并降低劳动力成本，本工作设计了一种轻量级且即插即用的数据边缘智能视觉系统，用于自动快速鱼类检测。此外，提出了一种新型相似性感知视觉 Transformer 用于快速鱼类检测（FishViT），以在密集且相似的鱼群中识别每一只鱼。具体而言，开发了一种新的相似性感知多级编码器，以并行方式增强多尺度特征，从而生成针对不同尺寸鱼类的判别性表示。此外，引入了一种新的软阈值注意力机制，不仅有效地消除图像中的背景噪声，还能准确识别不同相似鱼类的边缘细节和整体特征。收集了85个高帧率高分辨率的具有挑战性的视频序列，以建立来自真实水陆转换场景的基准。针对该基准进行的全面评估表明，FishViT在超过80 FPS的检测速度下具有稳健性和有效性。实际工作场景测试验证了所提出方法的实用性。代码和演示视频已发布于 https://github.com/vision4robotics/FishViT。
关键词
引用
@article{arxiv.2409.19323,
title = {Intelligent Fish Detection System with Similarity-Aware Transformer},
author = {Shengchen Li and Haobo Zuo and Changhong Fu and Zhiyong Wang and Zhiqiang Xu},
journal= {arXiv preprint arXiv:2409.19323},
year = {2024}
}