HAISTA-NET：基于注意力机制的人机辅助实例分割
计算机视觉与模式识别
2024-11-26 v3 人工智能
摘要
实例分割是一种图像检测形式，具有一系列应用，如目标精细化、医学图像分析以及图像/视频编辑，这些都要求高度的准确性。然而，即便是最先进的 fully automated（全自动化）实例分割算法，也常难以达到此种精度。对于小而复杂的物体，性能差距尤为严重。从业者通常求助于完全手动标注，这可能是繁琐的过程。为克服该问题，我们提出一种新颖方法，以对高曲率、复杂且小尺度物体实现更精确的预测并生成更高质量的分割掩码。我们的人机辅助分割模型 HAISTA-NET 增强了现有的 Strong Mask R-CNN 网络，以融入人工指定的部分边界。我们还提出了一个手绘物体部分边界数据集，称之为 human attention maps（人类注意力图）。此外，Partial Sketch Object Boundaries（PSOB）数据集包含手绘的物体部分边界，以若干像素表示物体真值掩码的曲率。通过使用 PSOB 数据集的广泛评估，我们表明 HAISTA-NET 优于 Mask R-CNN、Strong Mask R-CNN 与 Mask2Former 等 SOTA（最先进）方法，在这三个模型上分别取得 AP-Mask 指标 +36.7、+29.6 与 +26.5 分的提升。我们希望我们的新颖方法将通过结合全自动化与交互式实例分割架构，为未来的人机辅助深度学习模型设立基线。
引用
@article{arxiv.2305.03105,
title = {HAISTA-NET: Human Assisted Instance Segmentation Through Attention},
author = {Muhammed Korkmaz and T. Metin Sezgin},
journal= {arXiv preprint arXiv:2305.03105},
year = {2024}
}