基于Re-parameterization异构卷积的多分支辅助融合 YOLO
计算机视觉与模式识别
2024-07-08 v1 人工智能
摘要
由于多尺度特征融合的有效性能， Path Aggregation FPN (PAFPN) 在 YOLO 检测器中广泛应用。然而它无法有效且自适应地同时整合高层语义信息与低层空间信息。我们提出了新模型 MAF-YOLO， 其具备名为 Multi-Branch Auxiliary FPN (MAFPN) 的多功能颈部。 在 MAFPN 中， 设计了 Superficial Assisted Fusion (SAF) 模块，将 backbone 输出与颈部输出融合， 保留最佳浅层信息以促进后续学习。同时， Advanced Assisted Fusion (AAF) 模块深嵌入颈部内部，将更丰富的梯度信息传递至输出层。此外， 我们提出的 Re-parameterized Heterogeneous Efficient Layer Aggregation Network (RepHELAN) 模块确保整体模型架构和卷积设计均采用异构大卷积核的利用。因此， 这保证了对小目标相关信息的保留， 同时实现多尺度感受野。以 nano 版本的 MAF-YOLO 为例， 仅需 3.76M 可学习参数和 10.51G FLOPs 即可在 COCO 上实现 42.4% 的 AP， 大约比 YOLOv8n 高出 5.1%。本工作的源码可在 https://github.com/yang-0201/MAF-YOLO 获取。
引用
@article{arxiv.2407.04381,
title = {Multi-Branch Auxiliary Fusion YOLO with Re-parameterization Heterogeneous Convolutional for accurate object detection},
author = {Zhiqiang Yang and Qiu Guan and Keer Zhao and Jianmin Yang and Xinli Xu and Haixia Long and Ying Tang},
journal= {arXiv preprint arXiv:2407.04381},
year = {2024}
}