回溯损失：回望以提升深度神经网络训练
计算机视觉与模式识别
2020-06-25 v1
摘要
深度神经网络（DNNs）是强大的学习机器，已在多个领域带来突破。本文提出一种新的回溯损失（retrospective loss），利用训练过程中过往模型状态所提供的先验经验来改进深度神经网络模型的训练。在最小化任务特定损失的同时最小化回溯损失，可将当前训练步的参数状态推向最优参数状态，同时使其远离前一训练步的参数状态。尽管思路简单，我们对该方法进行了分析，并在图像、语音、文本和图等多个领域开展了全面的实验，表明所提损失在不同输入域、任务和架构下均带来性能提升。
引用
@article{arxiv.2006.13593,
title = {Retrospective Loss: Looking Back to Improve Training of Deep Neural Networks},
author = {Surgan Jandial and Ayush Chopra and Mausoom Sarkar and Piyush Gupta and Balaji Krishnamurthy and Vineeth Balasubramanian},
journal= {arXiv preprint arXiv:2006.13593},
year = {2020}
}
备注
Accepted at KDD 2020; The first two authors contributed equally