VTGAN：基于视觉Transformer的半监督视网膜图像合成与疾病预测
图像与视频处理
2022-05-02 v3 计算机视觉与模式识别
摘要
在荧光素血管造影（FA）中，将外源性染料注入血流以对视网膜血管结构成像。所注射的染料可能引起不良反应，如恶心、呕吐、过敏性休克甚至死亡。相比之下，彩色眼底成像是一种用于对视网膜拍照的非侵入性技术，但其捕获血管结构的保真度不足。唯一非侵入性地捕获视网膜血管的方法为光学相干断层扫描血管造影（OCTA）。然而，OCTA设备相当昂贵，且稳定成像仅限于视网膜上的小区域。本文提出一种新颖的条件生成对抗网络（GAN），能够同时从眼底照片合成FA图像并预测视网膜变性。所提出的系统具有以非侵入方式解决视网膜血管成像问题以及预测视网膜异常存在的好处。我们采用半监督方法，利用不同数据模态上的多个加权损失训练我们的GAN。我们的实验证实，所提出的架构在眼底到血管造影合成上超越了近期最先进的生成网络。此外，我们基于视觉Transformer的判别器在视网膜疾病预测的分布式外数据集上泛化得相当好。
引用
@article{arxiv.2104.06757,
title = {VTGAN: Semi-supervised Retinal Image Synthesis and Disease Prediction using Vision Transformers},
author = {Sharif Amit Kamran and Khondker Fariha Hossain and Alireza Tavakkoli and Stewart Lee Zuckerbrod and Salah A. Baker},
journal= {arXiv preprint arXiv:2104.06757},
year = {2022}
}
备注
Accepted to ICCV 2021 Workshop on Computer Vision for Automated Medical Diagnosis