Distill-to-Label：基于知识蒸馏的弱监督实例标注
计算机视觉与模式识别
2019-07-31 v1 机器学习
机器学习
摘要
仅使用图像级标签而非昂贵的细粒度像素标注的弱监督实例标注，在包括医学图像分析在内的若干应用中至关重要。与计算机视觉中传统的实例分割场景不同，我们所考虑的问题以训练图像数量少和导致诊断的非局部模式为特征。本文中，我们探索使用多示例学习（MIL）在此弱监督设定下设计实例标签生成器。受 MIL 模型可处理不同大小包的观察启发，我们提出将最初训练用于包级分类的 MIL 模型重新用于为单实例（即大小为 的包）产生可靠预测。为此，我们引入一种基于虚拟对抗训练的新的正则化策略以改进 MIL 训练，并随后开发一种知识蒸馏技术以重新利用训练好的 MIL 模型。通过对组织病理学图像中结肠癌和乳腺癌检测的实证研究，我们表明所提方法产生高质量的实例级预测，并显著优于最先进的 MIL 方法。
引用
@article{arxiv.1907.12926,
title = {Distill-to-Label: Weakly Supervised Instance Labeling Using Knowledge Distillation},
author = {Jayaraman J. Thiagarajan and Satyananda Kashyap and Alexandros Karagyris},
journal= {arXiv preprint arXiv:1907.12926},
year = {2019}
}