通过赛车式训练的数据驱动正则化以实现神经网络泛化
计算机视觉与模式识别
2020-07-02 v1
摘要
我们提出一种用于改善神经网络泛化的新颖训练方法。我们表明，与常规的正交性约束不同，我们的方法代表了一种数据相关的正交性约束，并且与权重矩阵的奇异值分解密切相关。我们还展示了我们的公式如何通过一次反向传递在实际网络架构中易于实现，该反向传递旨在重建网络的完整内部状态序列。尽管这是一个令人惊讶的简单改动，我们证明了这种前向-后向训练方法（我们称之为赛车式（racecar）训练）能够从给定数据集中提取出显著更具通用性的特征。采用我们方法训练的网络在所有层中都展现出输入与输出之间更均衡的互信息，产生了改进的可解释性，并在多种任务及任务迁移中表现出性能提升。
引用
@article{arxiv.2007.00024,
title = {Data-driven Regularization via Racecar Training for Generalizing Neural Networks},
author = {You Xie and Nils Thuerey},
journal= {arXiv preprint arXiv:2007.00024},
year = {2020}
}
备注
https://github.com/tum-pbs/racecar