用于无监督域适应的分散式 Transformer 网络
计算机视觉与模式识别
2021-10-29 v1 人工智能
摘要
准确的分割是医学图像分析中的关键步骤,将监督式机器学习应用于器官或病灶分割已被证实有效。然而,提供用于训练监督算法的真值标签的数据标注成本高昂,且来自不同域的数据的高方差往往会在跨站点或跨模态数据集上严重降低系统性能。为缓解此问题,本文引入了一种名为分散式 Transformer 网络(DTNet)的新型无监督域适应(UDA)方法。我们的新型 DTNet 包含三个模块。首先,设计了一个分散式残差 Transformer 模块,其通过分散式交错操作实现全局注意力,并应对了 Transformer 过高的计算成本和 GPU 内存占用。其次,提出多尺度一致性正则化,以缓解低分辨率输出中的细节丢失,从而实现更好的特征对齐。最后,引入特征排序判别器,自动为域间差异特征分配不同权重以减小特征分布距离,降低两域间的性能偏移。所提方法在包含 676 张图像的大型荧光素血管造影(FA)视网膜无灌注(RNP)跨站点数据集以及 MM-WHS 挑战赛中广泛使用的跨模态数据集上进行了评估。大量结果表明,与多种最先进(sota)技术相比,我们所提网络取得了最佳性能。
引用
@article{arxiv.2110.14944,
title = {Dispensed Transformer Network for Unsupervised Domain Adaptation},
author = {Yunxiang Li and Jingxiong Li and Ruilong Dan and Shuai Wang and Kai Jin and Guodong Zeng and Jun Wang and Xiangji Pan and Qianni Zhang and Huiyu Zhou and Qun Jin and Li Wang and Yaqi Wang},
journal= {arXiv preprint arXiv:2110.14944},
year = {2021}
}
备注
10 pages