弥合合成与真实图像:一种可迁移且多一致性辅助的眼底图像增强框架
图像与视频处理
2023-02-24 v1 计算机视觉与模式识别
机器学习
摘要
基于深度学习的图像增强模型大幅提升了眼底图像的可读性,以降低临床观察的不确定性和误诊风险。然而,由于难以获取不同质量的配对真实眼底图像,现有多数方法不得不采用合成图像对作为训练数据。合成与真实图像之间的域偏移不可避免地阻碍了此类模型在临床数据上的泛化能力。本工作中,我们提出一种端到端优化的教师-学生框架,以同时完成图像增强与域适应。学生网络使用合成图像对进行监督增强,并通过在无需增强真值的真实眼底图像上强制教师-学生预测一致性,正则化增强模型以减小域偏移。此外,我们还提出一种新颖的多阶段多注意力引导增强网络(MAGE-Net)作为教师与学生网络的骨干。我们的 MAGE-Net 利用多阶段增强模块和视网膜结构保持模块逐步整合多尺度特征,同时保留视网膜结构,以实现更好的眼底图像质量增强。在真实与合成数据集上的综合实验表明,我们的框架优于基线方法。此外,我们的方法也有益于下游临床任务。
引用
@article{arxiv.2302.11795,
title = {Bridging Synthetic and Real Images: a Transferable and Multiple Consistency aided Fundus Image Enhancement Framework},
author = {Erjian Guo and Huazhu Fu and Luping Zhou and Dong Xu},
journal= {arXiv preprint arXiv:2302.11795},
year = {2023}
}