关于显式方差最小化：以有限数据标注训练医学影像神经网络
计算机视觉与模式识别
2021-08-25 v4
摘要
计算机视觉的自监督学习方法已证明了预训练特征表征的有效性，即使在标注数据有限的情况下也能得到泛化良好的深度神经网络。然而，表征学习技术需要大量时间进行模型训练，其中大部分时间花费在精确的超参数优化和增强技术选择上。我们假设，如果标注数据集具有足够的形态多样性以捕捉总体人群的多样性（由于组织形态学的保守相似性，这在医学影像中很常见），则训练模型的方差误差是偏差-方差权衡中的主要成分。因此，我们提出方差感知训练（VAT）方法，通过将方差误差引入模型损失函数来利用该数据特性，从而显式地正则化模型。此外，我们提供了该方法的理论公式与证明以辅助理解该方法。我们的方法仅需选择一个超参数，并在性能上匹配或超越最先进的自监督方法，同时将 GPU 训练时间减少一个数量级。我们在来自不同领域的三个医学影像数据集及各种学习目标上验证了 VAT。这些包括用于心脏语义分割的磁共振成像（MRI）数据集（MICCAI 2017 ACDC 挑战赛）、用于糖尿病视网膜病变进展普通回归的眼底摄影数据集（Kaggle 2019 APTOS 失明检测挑战赛），以及淋巴结组织切片组织病理学扫描的分类（PatchCamelyon 数据集）。我们的代码可在 https://github.com/DmitriiShubin/Variance-Aware-Training 获取。
引用
@article{arxiv.2105.14117,
title = {About Explicit Variance Minimization: Training Neural Networks for Medical Imaging With Limited Data Annotations},
author = {Dmitrii Shubin and Danny Eytan and Sebastian D. Goodfellow},
journal= {arXiv preprint arXiv:2105.14117},
year = {2021}
}