Octave-YOLO：基于 Octave 卷积的跨频率检测网络
计算机视觉与模式识别
2024-07-30 v1
摘要
尽管目标检测算法取得了快速进展，但在嵌入式设备上处理高分辨率图像仍然是一个重大挑战。理论上，当前实时目标检测器所使用的全卷积网络架构可以处理所有输入分辨率。然而，处理高分辨率图像所需的计算需求很大，使得其在实时应用中不可行。为此，实时目标检测模型通常会对输入图像进行下采样，以进行推理，从而导致细节丢失和准确率下降。为此，我们开发了 Octave-YOLO，旨在在嵌入式系统约束条件下实时处理高分辨率图像。我们通过引入跨频率部分网络 (CFPNet)，将输入特征图划分为低分辨率、低频率部分和高分辨率、高频率部分。这种配置使我们能够仅在低分辨率特征图上执行卷积瓶颈和自注意力等复杂操作，同时保留高分辨率图中的细节。值得注意的是，这种方法不仅大大降低了卷积任务的计算需求，还允许将注意力模块集成到实时应用中，而通常在实时应用中难以实现，而且额外开销最小。此外，我们还将深度可分离卷积集成到核心构建模块和下采样层中，以进一步降低延迟。实验结果表明，Octave-YOLO 在准确率上与 YOLOv8 相当，但计算需求显著降低。例如，在 1080x1080 分辨率下，Octave-YOLO-N 比 YOLOv8 快 1.56 倍，在 COCO 数据集上几乎实现了相同的准确率，同时参数和 FLOPs 减少约40%。
引用
@article{arxiv.2407.19746,
title = {Octave-YOLO: Cross frequency detection network with octave convolution},
author = {Sangjune Shin and Dongkun Shin},
journal= {arXiv preprint arXiv:2407.19746},
year = {2024}
}