MuTri：用于OCT到OCTA 3D图像翻译的多视图三向对齐
计算机视觉与模式识别
2025-04-03 v1 人工智能
摘要
光相干断层血管图（OCTA）在提供血管精准3D成像方面显示出巨大的重要性，但它依赖于专业传感器和昂贵的设备。因此，前人的工作表明，将 readily 可用的3D光相干断层（OCT）图像翻译成3D OCTA图像具有潜在价值。然而，现有的OCTA翻译方法直接学习从OCT域到OCTA域的映射，处于连续且无限的空间中，仅仅依据单一视图（即OCTA投影图）进行引导，导致结果不理想。为此，我们提出一种名为MuTri的用于OCT到OCTA 3D图像翻译的多视图三向对齐框架，在离散且有限的空间中实现。第一阶段，我们通过重建3D OCT和3D OCTA数据，对两个向量量化变分自编码器（VQ-VAE）进行预训练，为后续的多视图引导提供语义先验。在第二阶段，我们的多视图三向对齐框架促进另一个VQVAE模型在离散且有限的空间中学习从OCT域到OCTA域的映射。具体而言，提出一种受对比学习启发的语义对齐，以最大化来自OCT和OCTA视图预训练模型的互信息，以促进码本学习。同时，提出一种血管结构对齐，以最小化来自OCTA投影视图预训练模型的结构差异，受益于学习详细血管结构信息。我们还收集了第一个大规模数据集，即OCTA2024，其中包含来自846名受试者的OCT和OCTA体积数据对。
关键词
引用
@article{arxiv.2504.01428,
title = {MuTri: Multi-view Tri-alignment for OCT to OCTA 3D Image Translation},
author = {Zhuangzhuang Chen and Hualiang Wang and Chubin Ou and Xiaomeng Li},
journal= {arXiv preprint arXiv:2504.01428},
year = {2025}
}