基于特征提取的自适应 H&E-IHC 信息融合染色框架
计算机视觉与模式识别
2025-02-28 v1 人工智能
摘要
免疫组织化学染色 (IHC) 在诊断如乳腺癌等疾病方面发挥重要作用。基于生成模型的 H&E-to-IHC 转换提供了获取 IHC 图像的简单且成本效益高的方法。尽管先前模型能够良好地进行数字着色，但仍受制于 (i)仅通过像素特征进行着色，这些特征在 HE 中不够突出，容易在着色过程中导致信息丢失；(ii)缺乏像素完美的 H&E-IHC 真值配对，给 classical L1 loss 带来挑战。为解决上述问题，我们提出一种基于特征提取器的自适应信息增强着色框架。我们首先提出 VMFE 模块，通过多尺度特征提取和小波变换卷积有效提取颜色信息特征，同时结合共享解码器进行特征融合。高性能的 H&E-IHC 双特征提取器通过对比学习训练，可有效在高维空间中对 HE-IHC 进行特征对齐。此外，使用训练好的特征编码器增强特征并自适应调整 HE 部分染色过程中的损失，以解决信息不清晰和不对称的问题。我们在不同数据集上进行测试，取得优异的性能。我们的代码已公开于 https://github.com/babyinsunshine/CEFF
关键词
引用
@article{arxiv.2502.20156,
title = {Adaptive H&E-IHC information fusion staining framework based on feature extra},
author = {Yifan Jia and Xingda Yu and Zhengyang Ji and Songning Lai and Yutao Yue},
journal= {arXiv preprint arXiv:2502.20156},
year = {2025}
}