基于对抗与强化学习的大规模薄结构掩模盲修复
计算机视觉与模式识别
2019-12-06 v1
摘要
若干成像应用（血管、视网膜、植物根系、卫星道路网络）需要精确分割薄结构以进行后续分析。提取出的前景中的不连续性（间隙）可能阻碍基于生物标记、器官结构与拓扑的下游图像分析。本文中，我们提出一种通用的后处理技术来恢复大规模分割掩模中的此类间隙。我们将此问题视为盲修复任务，即分割掩模中缺失线条的区域对算法未知，并通过对抗训练的神经网络求解。使用大幅图像的一个挑战是当前 GPU 的内存容量。将大幅图像划分为较小块来训练网络的典型方法无法保证重建图像的全局一致性以保留结构与拓扑。我们利用对抗训练与强化学习（策略梯度）赋予模型全局上下文与局部细节。我们在医学成像、植物科学与遥感多个数据集中评估了我们的方法。我们的实验表明，我们的模型生成了最真实且完整的修复结果，优于其他方法。在一项针对植物根系的专门研究中，我们发现我们的方法也可与人类表现相媲美。实现代码见 \url{https://github.com/Hhhhhhhhhhao/Thin-Structure-Inpainting}。
引用
@article{arxiv.1912.02470,
title = {Blind Inpainting of Large-scale Masks of Thin Structures with Adversarial and Reinforcement Learning},
author = {Hao Chen and Mario Valerio Giuffrida and Peter Doerner and Sotirios A. Tsaftaris},
journal= {arXiv preprint arXiv:1912.02470},
year = {2019}
}