缓解 2D+ 电子显微镜图像分割中由预训练导致的注意力不对称问题
计算机视觉与模式识别
2026-02-17 v3
摘要
大规模 RGB 自然图像数据集上预训练的视觉模型被广泛用于电子显微镜图像分割。 在电子显微镜中，体积数据以序列切片形式获取，并作为相邻灰度切片堆处理，其中相邻切片为识别中心切片上的特征提供对称的上下文信息。 常见策略将此类堆映射到伪 RGB 输入，以实现从预训练模型的迁移学习。然而，这种映射会对来自自然图像的特定于通道的语义施加限制，尽管电子显微镜切片在该模态下是均匀的，在其预测角色中是对称的。结果发现，预训练模型可能编码与体积电子显微镜数据固有对称性不匹配的归纳偏置。本文演示了尽管不存在固有的通道排序，RGB 预训练模型在应用于堆叠的电子显微镜数据时会系统性地对单个输入切片分配不相等的重要性。通过多种架构的基于敏感性的归因分析，观察到一致的通道层级不对称性，这种不对称性在微调后仍然存在并影响模型可解释性，即使分割性能不变。为解决此问题，本文提出了一种基于均匀通道初始化的预训练权重定向修改方法，该方法在保持预训练优势的同时恢复对称特征归因。在 SNEMI、Lucchi 和 GF-PA66 数据集上的实验表明，此方法在不损失甚至提升分割准确率的前提下，显著减少了归因偏差。
引用
@article{arxiv.2505.14105,
title = {Mitigating Pretraining-Induced Attention Asymmetry in 2D+ Electron Microscopy Image Segmentation},
author = {Zsófia Molnár and Gergely Szabó and András Horváth},
journal= {arXiv preprint arXiv:2505.14105},
year = {2026}
}