基于平滑的课程学习
机器学习
2021-01-06 v5 计算机视觉与模式识别
机器学习
摘要
卷积神经网络（CNNs）在图像分类、检测与分割等计算机视觉任务中展现出令人印象深刻的性能。此外，生成对抗网络（GANs）的近期工作强调了通过逐步增加学习任务难度来进行学习的重要性[26]。当从零开始训练网络时，训练早期阶段在网络内传播的信息可能包含由于噪声引起的失真伪影，这对训练有害。在本文中，我们提出一种优雅的基于课程学习的方案，利用抗混叠或低通滤波器平滑 CNN 的特征嵌入。我们提出通过用高斯核卷积每一层 CNN 特征图输出，在训练过程中控制 CNN 内传播的高频信息量，从而增强 CNN 的训练。通过减小高斯核的方差，我们逐步增加网络内可用于推理的高频信息量。随着训练过程中特征图中信息的增加，网络能够逐步学习更好的数据表示。我们提出的增强训练方案显著提升了 CNN 在各种视觉任务上的性能，且既不增加可训练参数也不引入辅助正则化目标。我们方法的一般性通过 CNN 架构在四项不同任务中的经验性能提升得到证明：迁移学习、跨任务迁移学习以及生成模型。
引用
@article{arxiv.2003.01367,
title = {Curriculum By Smoothing},
author = {Samarth Sinha and Animesh Garg and Hugo Larochelle},
journal= {arXiv preprint arXiv:2003.01367},
year = {2021}
}
备注
NeurIPS 2020 (Spotlight)