多模态掩码自编码器学习组合式组织病理学表征
计算机视觉与模式识别
2022-11-15 v2 机器学习
摘要
自监督学习（SSL）通过利用无需标签的代理任务来学习有用的归纳偏置。SSL的无标签特性使其对于全切片组织病理学图像（WSI）尤为重要，因为patch级人工标注十分困难。掩码自编码器（MAE）是近期一种适用于数字病理学的SSL方法，因为它不需要负采样且几乎不需要数据增强。然而，自然图像与数字病理学图像之间的域偏移要求在为patch级WSI设计MAE方面开展进一步研究。本文中，我们探究了组织病理学中MAE的若干设计选择。此外，我们引入了一种多模态MAE（MMAE），其利用了苏木精-伊红（H&E）染色WSI特有的组合性。我们在公开patch级数据集NCT-CRC-HE-100K上进行了实验。结果表明，在仅使用100个标注样本进行微调的八类组织表型分型任务中，MMAE架构优于有监督基线及其他最先进的SSL技术。我们的代码可在 https://github.com/wisdomikezogwo/MMAE_Pathology 获取。
引用
@article{arxiv.2209.01534,
title = {Multi-modal Masked Autoencoders Learn Compositional Histopathological Representations},
author = {Wisdom Oluchi Ikezogwo and Mehmet Saygin Seyfioglu and Linda Shapiro},
journal= {arXiv preprint arXiv:2209.01534},
year = {2022}
}
备注
Extended Abstract presented at Machine Learning for Health (ML4H) symposium 2022, November 28th, 2022, New Orleans, United States & Virtual, http://www.ml4h.cc, 10 pages