目标梯度下降：一种用于卷积神经网络微调与在线学习的新方法
计算机视觉与模式识别
2021-10-01 v1
摘要
卷积神经网络(ConvNet)通常使用从同一分布抽取的图像进行训练与测试。将 ConvNet 推广到多种任务往往需要由不同任务图像组成的完整训练数据集。在大多数场景下，几乎不可能事先收集到每个可能的代表性数据集。新数据可能仅在 ConvNet 部署于临床实践后才可用。然而，ConvNet 可能在分布外测试样本上产生伪影。在本研究中，我们提出目标梯度下降(TGD)，一种新颖的微调方法，可在不重访先前任务数据的同时将预训练网络扩展到新任务，并保留从先前训练中获得的知识。进一步，该方法还支持患者特异性数据的在线学习。该方法基于复用预训练 ConvNet 冗余核以学习新知识的思路。我们在正电子发射断层扫描(PET)图像去噪任务上将 TGD 与几种常用训练方法进行比较。临床图像结果显示，TGD 生成的结果与从头训练相当，同时显著减少了数据准备与网络训练时间。更重要的是，它能够在测试研究中实现在线学习，以增强网络在实际应用中的泛化能力。
引用
@article{arxiv.2109.14729,
title = {Targeted Gradient Descent: A Novel Method for Convolutional Neural Networks Fine-tuning and Online-learning},
author = {Junyu Chen and Evren Asma and Chung Chan},
journal= {arXiv preprint arXiv:2109.14729},
year = {2021}
}
备注
MICCAI 2021 (Oral Presentation). Proceedings: LNCS 12903, pp 25-35