可迁移视觉词：利用解剖模式的语义进行自监督学习
计算机视觉与模式识别
2021-02-23 v1 图像与视频处理
摘要
本文提出一种称为“可迁移视觉词”(TransVW)的新概念，旨在实现医学图像分析中深度学习的标注高效性。医学成像——针对特定临床目的聚焦于人体特定部位——生成跨患者解剖结构高度相似的图像，并产生跨图像的复杂解剖模式，这些模式关联着关于人体解剖的丰富语义，且是天然的视觉词。我们表明，这些视觉词可根据解剖一致性通过自发现自动提取，且自发现的视觉词可作为强大而免费的监督信号，通过自监督（自分类与自恢复）让深度模型学习语义丰富的通用图像表示。我们的大量实验证明了 TransVW 的标注高效性：在多个应用中以更低的标注成本提供更高性能和更快收敛。我们的 TransVW 具有若干重要优势，包括：(1) TransVW 是一种完全自学的方案，利用视觉词的语义进行自监督学习，无需专家标注；(2) 视觉词学习是一种附加策略，补充现有自监督方法，提升其性能；(3) 学到的图像表示是语义丰富的模型，已被证明更鲁棒且可泛化，通过迁移学习为多种应用节省标注工作。我们的代码、预训练模型和精选视觉词可在 https://github.com/JLiangLab/TransVW 获取。
引用
@article{arxiv.2102.10680,
title = {Transferable Visual Words: Exploiting the Semantics of Anatomical Patterns for Self-supervised Learning},
author = {Fatemeh Haghighi and Mohammad Reza Hosseinzadeh Taher and Zongwei Zhou and Michael B. Gotway and Jianming Liang},
journal= {arXiv preprint arXiv:2102.10680},
year = {2021}
}
备注
Journal version of arXiv:2007.06959, accepted by IEEE Transactions on Medical Imaging (TMI)