利用图像与空间 Transformer 网络进行多站点数据的图像级协调
图像与视频处理
2020-10-27 v1 计算机视觉与模式识别
摘要
我们研究利用图像与空间 Transformer 网络（ISTNs）解决多站点医学影像数据中的域偏移问题。通常，域适应（DA）很少考虑域间变换的可解释性，并且常在潜空间的特征级进行。我们采用 ISTNs 在图像级进行 DA，将变换约束为可解释的表观与形状变化。作为概念验证，我们证明了 ISTNs 可在模拟 2D 数据的分类问题上以对抗方式训练。对于真实数据验证，我们构建了来自 Cam-CAN 和 UK Biobank 研究的两个 3D 脑 MRI 数据集，以探究由采集与人群差异引起的域偏移。我们表明，在一个站点数据上训练并在另一站点上测试时，基于 ISTN 输出训练的年龄回归与性别分类模型提升了泛化能力。
引用
@article{arxiv.2006.16741,
title = {Image-level Harmonization of Multi-Site Data using Image-and-Spatial Transformer Networks},
author = {R. Robinson and Q. Dou and D. C. Castro and K. Kamnitsas and M. de Groot and R. M. Summers and D. Rueckert and B. Glocker},
journal= {arXiv preprint arXiv:2006.16741},
year = {2020}
}
备注
Accepted at MICCAI 2020