面向非配对性视网膜底图增强的上下文感知无配对神经薛定谔桥 (CUNSB-RFIE)
计算与语言
2024-09-18 v1 机器学习
摘要
视网膜底摄影在诊断和监测视网膜疾病方面具有重要意义。然而，系统性缺陷和操作/患者相关因素可能阻碍获取高质量视网膜图像。以往的视网膜图像增强工作主要依赖生成对抗网络 (GAN)，但其训练稳定性与输出多样性之间存在权衡。相比之下，薛定谔桥 (SB) 通过 Optimal Transport (OT) 理论建模随机微分方程 (SDE)，提供更稳定的解决方案，可有效将低质量视网膜图像转化为高质量图像。本文基于 SB 框架构建视网膜图像到图像的翻译管线。此外，先前方法往往难以捕捉细微结构（如血管）。为此，我们引入动态蛇形卷积，其扭曲感受野可更好地保留管状结构。我们将得到的视网膜底图增强框架命名为上下文感知无配对神经薛定谔桥 (CUNSB-RFIE)。据我们所知，这是首个将 SB 方法应用于视网膜图像增强的工作。大规模数据集上的实验结果表明，我们的方法在图像质量及下游任务性能上优于多个最先进的监督式和无监督式方法。代码已公开于 https://github.com/Retinal-Research/CUNSB-RFIE。
引用
@article{arxiv.2409.10965,
title = {Cross-lingual transfer of multilingual models on low resource African Languages},
author = {Harish Thangaraj and Ananya Chenat and Jaskaran Singh Walia and Vukosi Marivate},
journal= {arXiv preprint arXiv:2409.10965},
year = {2024}
}