在生成对抗网络中学习不动点：从图像到图像翻译到疾病检测与定位
图像与视频处理
2019-08-30 v2 计算机视觉与模式识别
摘要
生成对抗网络（GANs）已引发图像到图像翻译的革命。GAN 的发展与普及提出一个有趣的问题：我们能否训练一个 GAN，在图像中存在某对象时将其移除，同时保留图像其余部分？具体而言，GAN 能否通过将被试（健康状况未知，患病或健康）的医学图像转为健康图像来“虚拟治愈”任何人，从而通过两图相减揭示患病区域？该任务要求 GAN 识别用于域翻译的最小目标像素子集，我们将此能力称为不动点翻译，目前尚无 GAN 具备。因此，我们提出一种称为不动点 GAN 的新 GAN，通过（1）以条件恒等损失监督同域翻译，以及（2）以修正的对抗、域分类和循环一致性损失正则化跨域翻译进行训练。基于不动点翻译，我们进一步推导出仅使用图像级标注的疾病检测与定位新框架。定性与定量评估表明，所提方法在多域图像到图像翻译中优于当前最优，并在疾病检测与定位上超越主流弱监督定位方法。实现代码见 https://github.com/jlianglab/Fixed-Point-GAN。
引用
@article{arxiv.1908.06965,
title = {Learning Fixed Points in Generative Adversarial Networks: From Image-to-Image Translation to Disease Detection and Localization},
author = {Md Mahfuzur Rahman Siddiquee and Zongwei Zhou and Nima Tajbakhsh and Ruibin Feng and Michael B. Gotway and Yoshua Bengio and Jianming Liang},
journal= {arXiv preprint arXiv:1908.06965},
year = {2019}
}