理解重要性加权在深度学习中的作用
机器学习
2021-03-30 v1
摘要
Byrd 与 Lipton（2019）的近期论文基于经验观察，对重要性加权对过参数化深度学习模型的影响提出了重大担忧。他们观察到，只要模型能分离训练数据，重要性加权的影响便随训练进行而减弱。然而，对此现象缺乏严格的刻画。本文针对重要性加权相对于梯度下降的隐式偏置与基于间隔的学习理论的作用，提供了形式化刻画与理论依据。我们揭示了深度学习模型下的优化动态与泛化性能。我们的工作不仅解释了深度学习中观察到的关于重要性加权的各种新现象，还扩展至权重作为模型一部分被优化的研究，这适用于若干活跃研究课题。
引用
@article{arxiv.2103.15209,
title = {Understanding the role of importance weighting for deep learning},
author = {Da Xu and Yuting Ye and Chuanwei Ruan},
journal= {arXiv preprint arXiv:2103.15209},
year = {2021}
}