Point2RBox：融合合成视觉模式知识实现单点监督端到端有向目标检测
计算机视觉与模式识别
2024-03-22 v2 人工智能
摘要
随着有向目标检测（OOD）需求的快速增长，近期涉及从水平框（HBox）学习旋转框（RBox）的弱监督检测器研究吸引了越来越多关注。本文中，我们探索一种更具挑战性但标签高效的设定，即单点监督 OOD，并给出名为 Point2RBox 的方法。具体而言，我们提出利用两项原则：1）合成模式知识组合：通过在图像上每个标注点周围采样，我们将目标特征扩散至具有已知框的合成视觉模式，为框回归提供知识。2）变换自监督：借助变换后的输入图像（如缩放/旋转），输出的 RBox 被训练以遵循相同变换，使网络能感知目标间的相对尺寸/旋转。该检测器进一步通过若干设计技术来增强以应对周边问题，例如在单点监督设定下目标尺寸不可得时的锚点/层分配。据我们所知，Point2RBox 是首个面向点监督 OOD 的端到端解决方案。特别地，我们的方法采用轻量范式，却在各类点监督替代方案中取得竞争性性能，在 DOTA/DIOR/HRSC 数据集上分别为 41.05%/27.62%/80.01%。
引用
@article{arxiv.2311.14758,
title = {Point2RBox: Combine Knowledge from Synthetic Visual Patterns for End-to-end Oriented Object Detection with Single Point Supervision},
author = {Yi Yu and Xue Yang and Qingyun Li and Feipeng Da and Jifeng Dai and Yu Qiao and Junchi Yan},
journal= {arXiv preprint arXiv:2311.14758},
year = {2024}
}
备注
10 pages, 3 figures, 5 tables, code: https://github.com/yuyi1005/point2rbox-mmrotate