中文

通过自监督学习从解剖学中获取局部可解释性、可组合性和可分解性,表征基础模型中的部分-整体层次结构

计算机视觉与模式识别 2024-04-25 v1

摘要

人类轻松通过将图像解析为部分-整体层次结构来解释图像;深度学习在学习多层特征空间方面卓有成就,但往往缺乏对部分-整体关系的显式编码,这是医学成像中显著的属性。为克服这一限制,我们引入了Adam-v2,这是一个新的自监督学习框架,扩展了Adam[79],通过三个关键分支显式地将部分-整体层次结构纳入学习目标中:(1)局部可解释性,获取区分不同解剖模式的判别性表示;(2)可组合性,以部分到整体的方式学习每个解剖结构;(3)可分解性,以整体到部分的方式理解每个解剖结构。跨10项任务的实验结果,与11个基线方法在零样本、少样本迁移和完全微调设置下的比较,展示了Adam-v2在 diverse downstream任务中优于大规模医学模型和现有自监督学习方法的优势。Adam-v2表示的更高普适性和鲁棒性源于其对不同解剖结构从无标签医学图像中显式构建层次结构的能力。Adam-v2保持了解剖学多样性和和谐性的语义平衡,产生既通用又语义有意义的表示,而这在现有的自监督学习方法中被忽视。所有代码和预训练模型均可用https://github.com/JLiangLab/Eden获取。

关键词

引用

@article{arxiv.2404.15672,
  title  = {Representing Part-Whole Hierarchies in Foundation Models by Learning Localizability, Composability, and Decomposability from Anatomy via Self-Supervision},
  author = {Mohammad Reza Hosseinzadeh Taher and Michael B. Gotway and Jianming Liang},
  journal= {arXiv preprint arXiv:2404.15672},
  year   = {2024}
}

备注

Accepted at CVPR 2024 [main conference]