通过评分融合引入医学图像体到体翻译的3D表示
计算机视觉与模式识别
2025-02-10 v2 人工智能
摘要
在医学图像的体到体翻译中，现有模型通常难以利用3D体素空间表示来捕捉固有的体积分布，这是由于高计算数据集需求。我们提出了Score-Fusion，一种新颖的体积翻译模型，通过在评分函数空间中集成垂直训练的2D扩散模型来有效学习3D表示。通过精心初始化我们的模型，使其从TPDM中的2D模型平均值开始，我们将3D训练简化为微调过程，从而减轻了计算和数据需求。此外，我们明确设计了3D模型的分层结构来学习2D特征的集成，进一步提高了效率和性能。此外，Score-Fusion通过融合基于不同输入条件的扩散模型，自然地扩展到多模态设置，实现灵活、准确的集成。我们证明，3D表示对于下游识别任务（如肿瘤分割）的更好性能至关重要，其中大多数分割模型基于3D表示。大量实验表明，Score-Fusion在3D医学图像超分辨率和模态翻译中实现了卓越的准确性和体积保真度。除了这些改进，我们的工作还为基于学习的评分函数融合方法提供了更广泛的见解。
引用
@article{arxiv.2501.07430,
title = {Introducing 3D Representation for Medical Image Volume-to-Volume Translation via Score Fusion},
author = {Xiyue Zhu and Dou Hoon Kwark and Ruike Zhu and Kaiwen Hong and Yiqi Tao and Shirui Luo and Yudu Li and Zhi-Pei Liang and Volodymyr Kindratenko},
journal= {arXiv preprint arXiv:2501.07430},
year = {2025}
}