循环多尺度Transformer用于高分辨率显著目标检测
计算机视觉与模式识别
2023-09-06 v2 人工智能
多媒体
摘要
显著目标检测（SOD）旨在识别并分割图像或视频中最显著的对象。作为一个重要的预处理步骤，它在多媒体和视觉任务中有许多潜在应用。随着成像设备的发展，近年来对高分辨率图像的SOD需求很大。然而，传统SOD方法主要局限于低分辨率图像，难以适应高分辨率SOD（HRSOD）的发展。尽管出现了一些HRSOD方法，但缺乏足够大的数据集用于训练和评估。此外，当前HRSOD方法通常产生不完整的对象区域和不规则的对象边界。为解决上述问题，本文中我们首先提出一个新的HRS10K数据集，包含10,500张2K-8K分辨率的高质量标注图像。据我们所知，这是HRSOD任务最大的数据集，将显著助力未来工作的模型训练与评估。此外，为提升HRSOD性能，我们提出一种新颖的循环多尺度Transformer（RMFormer），其循环利用共享的Transformers和多尺度细化架构。因此，可在低分辨率预测的引导下生成高分辨率显著图。在高分辨率和低分辨率基准上的大量实验表明了所提框架的有效性和优越性。源代码与数据集发布于：https://github.com/DrowsyMon/RMFormer。
引用
@article{arxiv.2308.03826,
title = {Recurrent Multi-scale Transformer for High-Resolution Salient Object Detection},
author = {Xinhao Deng and Pingping Zhang and Wei Liu and Huchuan Lu},
journal= {arXiv preprint arXiv:2308.03826},
year = {2023}
}
备注
This work is the camera-ready version of ACM MM2023