通过SGD学习非凸截断损失
机器学习
2018-05-22 v1 机器学习
摘要
使用凸损失函数学习多年来一直是一个主导范式。非凸损失函数如何帮助提升具有广泛适用性的学习的泛化能力，仍是一个有趣的问题。在本文中，我们研究了一类由截断传统损失函数构成的目标函数族，其适用于浅层学习与深度学习。截断损失函数有可能对观测中可能为对抗性的大噪声更不敏感且更鲁棒。更重要的是，它是一种无需假设噪声分布知识的通用技术。为论证使用截断损失的非凸学习，我们建立了基于截断损失的经验风险最小化在重尾输出下的超额风险界，以及随机梯度下降（SGD）方法所找到的近似驻点的统计误差。我们在含离群值、 corrupted数据及重尾噪声的回归浅层与深度学习实验进一步验证了所提方法。
引用
@article{arxiv.1805.07880,
title = {Learning with Non-Convex Truncated Losses by SGD},
author = {Yi Xu and Shenghuo Zhu and Sen Yang and Chi Zhang and Rong Jin and Tianbao Yang},
journal= {arXiv preprint arXiv:1805.07880},
year = {2018}
}