面向随机缺失输入数据的多域图像补全
计算机视觉与模式识别
2020-07-14 v1 机器学习
图像与视频处理
摘要
多域数据因利用来自不同模态的互补信息（例如，基于多参数磁共振成像（MRI）的脑肿瘤分割）而在视觉应用中被广泛使用。然而，由于可能的数据损坏和不同的成像协议，实践中每个域的图像可用性在不同数据源间可能存在差异，这使得构建具有可变输入数据集合的通用模型具有挑战性。为解决这个问题，我们提出一种通用方法以补全实际应用中随机缺失的域数据。具体而言，我们开发了一种新颖的多域图像补全方法，其利用带表征解耦方案的生成对抗网络（GAN）来提取跨多个域的共享骨架编码与独立 flesh 编码。我们进一步说明，通过引入一个由共享内容编码器的图像补全与分割组成的统一框架，多域图像补全中学习到的表征可用于高层任务，例如分割。实验在脑肿瘤分割、前列腺分割和面部表情图像补全三个数据集上分别展示了持续的性能提升。
引用
@article{arxiv.2007.05534,
title = {Multi-Domain Image Completion for Random Missing Input Data},
author = {Liyue Shen and Wentao Zhu and Xiaosong Wang and Lei Xing and John M. Pauly and Baris Turkbey and Stephanie Anne Harmon and Thomas Hogue Sanford and Sherif Mehralivand and Peter Choyke and Bradford Wood and Daguang Xu},
journal= {arXiv preprint arXiv:2007.05534},
year = {2020}
}