SIMPLER：基于 H&E 的结构光照显微术信息学习
计算机视觉与模式识别
2026-04-28 v2
摘要
结构光照显微术（Structured Illumination Microscopy, SIM）通过无染色或物理剖切实现新鲜组织的快速高对比光学剖面成像，适用于手术内和急诊诊断。近期数字病理学中的基础模型和大规模自监督模型在血小板单层模式（H&E）和免疫组织化学（IHC）方面表现优异，但这些方法主要在薄组织切片上训练，未明确针对SIM这一厚组织荧光模态。直接迁移至SIM时，性能受模态迁移的显著限制，粗略微调常过拟合模态特定外观而非潜在组织结构。我们引入SIMPLER（Structured Illumination Microscopy-Powered Learning for Embedding Representations），一个利用H&E作为语义锚点学习可复用SIM表征的跨模态自监督预训练框架。H&E编码了与临床注释一致的丰富细胞和腺体结构，而SIM提供了新鲜组织的快速无损成像。在预训练过程中，通过对抗、对比和重建基准目标逐步对齐SIM和H&E，鼓励SIM嵌入向量内化H&E中的组织结构，同时保留模态特定特征。单个预训练SIMPLER编码器可跨多个下游任务迁移，包括多实例学习和形态聚类，持续优于从头训练的SIM模型或仅用H&E预训练的模型。这些结果表明，组织学引导的跨模态预训练可产生适用于广泛下游任务的生物学导向SIM嵌入。
引用
@article{arxiv.2604.10334,
title = {SIMPLER: H&E-Informed Representation Learning for Structured Illumination Microscopy},
author = {Abu Zahid Bin Aziz and Syed Fahim Ahmed and Gnanesh Rasineni and Mei Wang and Olcaytu Hatipoglu and Marisa Ricci and Malaiyah Shaw and Guang Li and J. Quincy Brown and Valerio Pascucci and Shireen Elhabian},
journal= {arXiv preprint arXiv:2604.10334},
year = {2026}
}