基于注意力机制的可变焦生成对抗网络用于不均匀医学图像翻译
图像与视频处理
2024-04-17 v1 计算机视觉与模式识别
摘要
不同类型的染色在器官中突出不同的结构，从而辅助诊断。然而，由于无法进行重复染色，我们无法获得同一组织区域的不同类型染色片段。将易获得的片段（如H&E）翻译成难以获得的染色类型（如MT、PAS）的做法是解决这一问题的有前景的途径。然而，某些区域与其他区域紧密相连，为保持这种连接性，往往具有复杂结构，难以翻译，这可能导致错误的翻译结果。本文提出了注意力机制可变焦生成对抗网络 (AV-GAN)，用于解决病理图像翻译任务中的多个问题，如不同区域翻译难度不均、多个分辨率信息之间的相互干扰以及核变形。具体而言，我们开发了基于注意力的关键区域选择模块，可注意力地关注翻译难度较高的区域。随后，我们开发了可变焦模块，对这些区域以多分辨率进行翻译。实验结果表明，我们提出的AV-GAN在两个虚拟肾脏组织染色任务中均优于现有的图像翻译方法，分别在H&E-MT和H&E-PAS任务中将FID值提高了15.9和4.16。
引用
@article{arxiv.2404.10714,
title = {AV-GAN: Attention-Based Varifocal Generative Adversarial Network for Uneven Medical Image Translation},
author = {Zexin Li and Yiyang Lin and Zijie Fang and Shuyan Li and Xiu Li},
journal= {arXiv preprint arXiv:2404.10714},
year = {2024}
}