基于掩码先验建模的去噪扩散语义分割
计算机视觉与模式识别
2023-06-23 v2 人工智能
摘要
语义分割的发展长期以来由学习更具判别力的图像表示以对每个像素进行分类所主导。尽管取得了显著进展，分割掩码自身的先验（如几何与语义约束）仍未被充分探索。本文提出利用近期发展的去噪扩散生成模型所建模的掩码先验，来改善现有判别式方法的语义分割质量。从将扩散模型适配于掩码先验建模的统一架构出发，本文聚焦于离散扩散的一个具体实现，并确定了其成功应用的一系列关键设计选择。我们的探索性分析揭示了若干重要发现，包括：（1）将扩散模型简单集成到语义分割中并不足够，设计不良的扩散过程可能导致分割性能下降；（2）在训练期间，添加噪声的对象比噪声的类型更重要；（3）在推理期间，严格的扩散去噪方案可能并非必要，可放宽至一种更简单的方案，甚至表现更好。我们使用多种现成的分割器评估所提出的先验建模，在 ADE20K 和 Cityscapes 上的实验结果表明，我们的方法能够取得具有竞争力的量化性能与更优的视觉质量。
引用
@article{arxiv.2306.01721,
title = {Denoising Diffusion Semantic Segmentation with Mask Prior Modeling},
author = {Zeqiang Lai and Yuchen Duan and Jifeng Dai and Ziheng Li and Ying Fu and Hongsheng Li and Yu Qiao and Wenhai Wang},
journal= {arXiv preprint arXiv:2306.01721},
year = {2023}
}