PathDiff：基于无配对文本和掩码条件的组织病理图像合成
计算机视觉与模式识别
2025-07-01 v1
摘要
扩散生成模型在解决组织病理图像数据稀缺问题方面显示出前景，这些问题由隐私限制引起。诊断文本报告提供高层语义描述，掩码提供关键表示不同形态区域所必需的细粒度空间结构。然而，公共数据集缺乏针对同一组织病理图像的配对文本和掩码数据，这限制了它们在图像生成中的联合使用。这一约束限制了充分利用两种模态组合以实现对语义和空间细节控制的潜在优势。为克服这一问题，我们提出 PathDiff，一种有效从无配对掩码-文本数据中学习的扩散框架，通过将两种模态整合到统一的条件空间中。PathDiff 允许对结构和语境特征进行精确控制，生成高质量、语义准确的图像。PathDiff 还提高了图像保真度、文本-图像对齐和忠实度，增强了针对下游任务（如核细胞分割和分类）的数据增强。大量实验表明，其优于现有方法。
引用
@article{arxiv.2506.23440,
title = {PathDiff: Histopathology Image Synthesis with Unpaired Text and Mask Conditions},
author = {Mahesh Bhosale and Abdul Wasi and Yuanhao Zhai and Yunjie Tian and Samuel Border and Nan Xi and Pinaki Sarder and Junsong Yuan and David Doermann and Xuan Gong},
journal= {arXiv preprint arXiv:2506.23440},
year = {2025}
}
备注
Accepted to ICCV 2025