通过自发现、自分类与自恢复学习语义增强表征
计算机视觉与模式识别
2020-07-15 v1 图像与视频处理
摘要
医学图像天然带有关于人体解剖结构的丰富语义，体现在大量重复出现的解剖模式中，这为促进深度语义表征学习并产出在各类医学应用中语义更强大的模型提供了独特潜力。然而，医学图像中嵌入的这类强大且免费的语义究竟如何被用于自监督学习，在很大程度上仍未被探索。为此，我们训练深度模型，通过对医学图像下解剖结构的自发现、自分类与自恢复来学习语义增强的视觉表征，从而得到名为 Semantic Genesis 的语义增强、通用、预训练的 3D 模型。我们在六个不同的目标任务上，将我们的 Semantic Genesis 与所有公开可用的预训练模型（无论是自监督还是全监督）进行比较，任务涵盖多种医学模态（即 CT、MRI 和 X 射线）下的分类与分割。我们大量的实验表明，Semantic Genesis 显著超越其所有 3D 同类模型以及事实上的基于 ImageNet 的 2D 迁移学习。这一性能归功于我们新颖的自监督学习框架，其鼓励深度模型从医学图像中一致解剖结构所产生的丰富解剖模式中学习引人注目的语义表征。Semantic Genesis 的代码与预训练模型可在 https://github.com/JLiangLab/SemanticGenesis 获取。
引用
@article{arxiv.2007.06959,
title = {Learning Semantics-enriched Representation via Self-discovery, Self-classification, and Self-restoration},
author = {Fatemeh Haghighi and Mohammad Reza Hosseinzadeh Taher and Zongwei Zhou and Michael B. Gotway and Jianming Liang},
journal= {arXiv preprint arXiv:2007.06959},
year = {2020}
}
备注
International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI 2020)