AURA：基于随机输入采样的自动掩码生成器用于物体去除
计算机视觉与模式识别
2024-10-07 v2
摘要
图像修复任务的目標是以视觉上合理的方式填充图像的缺失区域。近来，基于深度学习的图像修复网络取得了出色的结果，其中一些通过掩蔽图像中不需要的物体将其模型用作物体去除器。然而，先前工作在试图更好地利用其特征网络去除物体时，较少关注输入掩码的重要性。本文中，我们专注于生成输入掩码，以利用现成的图像修复网络更好地去除物体。我们提出一种受可解释 AI（XAI）方法启发的自动掩码生成器，其输出比语义分割掩码能更好地去除物体。所提方法使用随机采样的输入掩码和从随机掩码获得的修复图像的定量估计分数生成重要性图。输出掩码由判断模块从重要性图生成的候选掩码中选出。我们设计判断模块以定量估计物体去除结果的质量。此外，我们凭经验发现先前报告物体去除结果的工作所使用的评估方法不适合估计物体去除器的性能。因此，我们提出新的评估指标（FID 和 U-IDS）以恰当评估物体去除器的质量。实验证实，我们的方法在去除目标类物体方面优于由语义分割图生成的掩码，且两个所提指标的判断与人类一致。
引用
@article{arxiv.2305.07857,
title = {AURA : Automatic Mask Generator using Randomized Input Sampling for Object Removal},
author = {Changsuk Oh and H. Jin Kim},
journal= {arXiv preprint arXiv:2305.07857},
year = {2024}
}