探索用于高效医学图像分割的泛化知识蒸馏
计算机视觉与模式识别
2023-02-21 v2
摘要
高效医学图像分割旨在以轻量级实现框架为医学图像提供准确的像素级预测。然而，轻量级框架通常难以取得优越性能，且在跨域任务上泛化能力较差。本文中，我们探索用于跨域医学图像高效分割的泛化知识蒸馏。考虑到不同医学数据集间的域间隙，我们提出模型特定对齐网络（MSAN）以获取域不变表示。同时，设计了一种定制的对齐一致性训练（ACT）策略以促进 MSAN 的训练。考虑到 MSAN 中的域不变表示向量，我们提出两种用于跨域蒸馏的泛化知识蒸馏方案：双重对比图蒸馏（DCGD）与域不变交叉蒸馏（DICD）。具体而言，在 DCGD 中，设计了两类隐式对比图，从数据分布的角度表征类内耦合与类间耦合的语义关联。在 DICD 中，利用两个模型（即教师与学生）的域不变语义向量，通过 MSAN 的头部交换进行交叉重构特征，从而提升学生模型中编码器与解码器的泛化能力。此外，定制了名为弗雷歇语义距离（FSD）的度量以验证正则化域不变特征的有效性。在肝脏与视网膜血管分割数据集上的大量实验证明了我们的方法在轻量级框架上的性能与泛化优势。
引用
@article{arxiv.2207.12995,
title = {Exploring Generalizable Distillation for Efficient Medical Image Segmentation},
author = {Xingqun Qi and Zhuojie Wu and Min Ren and Muyi Sun and Caifeng Shan and Zhenan Sun},
journal= {arXiv preprint arXiv:2207.12995},
year = {2023}
}
备注
Under Review