SimGen：基于扩散模型的同步手术图像与分割掩码生成框架
计算机视觉与模式识别
2025-01-16 v1
摘要
获取和标注手术数据往往需要大量资源，受伦理限制，并需要大量专家参与。虽然文本到图像的生成式AI模型可以缓解数据稀缺问题，但在精细驱动的手术应用、模拟和教育中，纳入空间标注（如分割掩码）至关重要。本研究引入了新的任务和方法SimGen，用于同步图像与掩码生成。SimGen基于DDPM框架和残差U-Net设计，旨在联合生成高保真度的手术图像及其对应的分割掩码。该模型利用跨相关先验捕获连续图像与离散掩码分布之间的依赖性。此外，采用规范斐波那契格子（CFL）来增强RGB空间中掩码的类别可分性和均匀性。SimGen生成高保真图像和准确分割掩码，在六个公开数据集上超越基准，对图像和语义 inception distance指标进行评估。消融研究表明，CFL可提高掩码质量和空间分离度。下游实验表明，如果监管限制人类数据发布用于研究，所生成的图像-掩码对是可用的。本工作提供了一种高性价比的解决方案，用于生成配对手术图像和复杂标签，推动手术AI发展，减少对昂贵人工标注的需求。
引用
@article{arxiv.2501.09008,
title = {SimGen: A Diffusion-Based Framework for Simultaneous Surgical Image and Segmentation Mask Generation},
author = {Aditya Bhat and Rupak Bose and Chinedu Innocent Nwoye and Nicolas Padoy},
journal= {arXiv preprint arXiv:2501.09008},
year = {2025}
}
备注
12 pages, 17 figures, 4 tables, project page at https://camma-public.github.io/endogen/