用于跨模态分割的基于扩散的零样本医学图像到图像翻译

跨模态图像分割旨在使用在源模态中设计的方法对目标模态进行分割。深度生成模型可以将目标模态图像翻译为源模态，从而实现跨模态分割。然而，大量现有的跨模态图像翻译方法依赖于监督学习。在这项工作中，我们旨在解决基于零样本学习的图像翻译任务（即目标模态中的极端场景在训练阶段未被见过）的挑战。为了利用生成学习进行零样本跨模态图像分割，我们提出了一种新颖的无监督图像翻译方法。该框架通过利用不同模态之间固有的统计一致性进行扩散引导，学习将未见过的源图像翻译到目标模态以进行图像分割。我们的框架在统计域中捕获相同的跨模态特征，提供扩散引导，而不依赖于源域和目标域之间的直接映射。这一优势使得我们的方法能够适应不断变化的源域而无需重新训练，当没有足够的标记源域数据可用时，这使其具有很高的实用性。通过与有影响力的生成模型（包括基于对抗和基于扩散的模型）的经验比较，所提出的框架在零样本跨模态图像分割任务中得到了验证。