用于半监督域适应的知识蒸馏
机器学习
2019-08-21 v1 图像与视频处理
机器学习
摘要
在标注数据中缺乏充足的数据变异（例如扫描仪与协议差异性）时，深度神经网络（DNNs）往往在训练期间过拟合。因此，其在来自未见来源的数据上的表现明显低于在来自与训练数据同源的数据上的表现。半监督域适应方法可通过将网络调谐至新目标域而缓解此问题，且无需这些域的标注数据。对抗域适应（ADA）方法是一种流行选择，旨在以所生成特征与域无关的方式训练网络。然而，这些方法需要谨慎地针对数据集选择超参数（如判别器的复杂度）以取得合理性能。我们提出使用知识蒸馏（KD）——一种在不同 DNNs 间高效迁移知识的方法——用于 DNNs 的半监督域适应。它不需要针对数据集的超参数调谐，因而具有普遍适用性。所提方法与 ADA 在磁共振成像（MRI）扫描中白质高信号（WMH）的分割任务上进行比较，这些扫描由未参与训练集的扫描仪生成。与基线 DNN（仅在源域训练且未对目标域作任何适应）以及使用 ADA 进行半监督域适应相比，所提方法取得了显著更高的 WMH dice 分数。
引用
@article{arxiv.1908.07355,
title = {Knowledge distillation for semi-supervised domain adaptation},
author = {Mauricio Orbes-Arteaga and Jorge Cardoso and Lauge Sørensen and Christian Igel and Sebastien Ourselin and Marc Modat and Mads Nielsen and Akshay Pai},
journal= {arXiv preprint arXiv:1908.07355},
year = {2019}
}
备注
MLCN MICCAI workshop