利用合成图像数据训练生成对抗网络用于光学属性映射
图像与视频处理
2022-10-04 v2
摘要
我们展示了使用免费开源三维建模与渲染软件 Blender 合成生成的空间频域成像（SFDI）图像数据集，训练生成对抗网络（GAN）以预测光学属性图（散射与吸收）。利用 Blender 的灵活性，我们模拟了与病变组织临床 SFDI 具有现实相关性的 3 种模型：平坦样本、带球形肿瘤的平坦样本，以及代表管状器官（如胃肠道）内成像的带球形肿瘤的圆柱形样本。在所有 3 种场景中，我们表明 GAN 能从单张 SFDI 图像准确重建光学属性，吸收的平均归一化误差为 1–1.2%，散射为 0.7–1.2%，从而使肿瘤球形结构在视觉上对比度改善。这优于在实验 SFDI 数据上训练 GAN 所达到的 25% 吸收误差和 10% 散射误差。然而，部分改进源于较低噪声和完美真值的可用性，因此我们采用在实验数据上训练的 GAN 对合成训练的 GAN 进行交叉验证，观察到视觉上准确的结果，吸收误差 <40%、散射误差 <25%，主要由于存在空间频率失配伪影。因此，我们的合成训练 GAN 与现实实验样本高度相关，但具有大型训练集、完美真值以及测试现实成像几何（如圆柱内部）的显著附加优势，而此类几何尚无常规单帧解调算法。未来我们期望域适应或在真实-合成混合数据集上训练等技术，将打造从真实临床成像系统快速、准确生成光学属性图的强大工具。
引用
@article{arxiv.2203.07793,
title = {Training Generative Adversarial Networks for Optical Property Mapping using Synthetic Image Data},
author = {Ahmed Osman and Jane Crowley and George Gordon},
journal= {arXiv preprint arXiv:2203.07793},
year = {2022}
}
备注
17 pages