通过跨多样背景的图像修复与伪掩码精炼实现息肉分割泛化
计算机视觉与模式识别
2024-05-22 v1
摘要
在不同正常背景中修复病灶是解决泛化问题的一种潜在方法，而泛化问题对于息肉分割模型至关重要。然而，在将息肉无缝引入复杂内窥镜环境的同时生成准确的伪掩码，对当前的图像修复方法仍是一项挑战。为解决这些问题，我们首先利用预训练的Stable Diffusion Inpaint和ControlNet，引入了一个能够跨不同背景修复息肉的鲁棒生成模型。其次，我们利用合成息肉仅限于修复区域这一先验，建立了一个修复区域引导的伪掩码精炼网络。我们还提出了一种样本选择策略，优先选择对齐良好且困难的合成案例以进一步微调模型。实验表明，我们的修复模型在修复质量上定性和定量地均优于基线方法。此外，我们的数据增强策略显著提升了息肉分割模型在外部数据集上的性能，达到或超过了该领域全监督训练基准的水平。代码可在 https://github.com/497662892/PolypInpainter 获取
引用
@article{arxiv.2405.12784,
title = {Generalize Polyp Segmentation via Inpainting across Diverse Backgrounds and Pseudo-Mask Refinement},
author = {Jiajian Ma and Fangqi Lu and Silin Huang and Song Wu and Zhen Li},
journal= {arXiv preprint arXiv:2405.12784},
year = {2024}
}