基于回溯的学习
机器学习
2020-12-25 v1
摘要
深度神经网络已成功部署于人工智能的多个领域,包括计算机视觉与自然语言处理。我们观察到,当前训练DNNs的标准流程会丢弃过去轮次中所有学到的信息,仅保留当前学到的权重。一个有趣的问题是:这些被丢弃的信息真的无用吗?我们认为,被丢弃的信息有益于后续训练。本文提出基于回溯的学习(LWR),利用过去轮次中学到的信息来引导后续训练。LWR是一种简单而有效的训练框架,可在不引入任何额外网络参数或推理开销的前提下,仅以可忽略的训练额外代价提升DNNs的准确率、校准性与鲁棒性。在多个基准数据集上的大量实验证明了LWR训练DNNs的优越性。
引用
@article{arxiv.2012.13098,
title = {Learning with Retrospection},
author = {Xiang Deng and Zhongfei Zhang},
journal= {arXiv preprint arXiv:2012.13098},
year = {2020}
}
备注
Accepted to AAAI2021