基于残差网络感知的函数梯度提升
机器学习
2018-07-10 v2 机器学习
摘要
残差网络（ResNets）已成为深度学习中的最先进模型，已有若干理论研究致力于理解 ResNet 为何表现如此优异。关于 ResNet 的一个引人注目的观点是：它通过在函数空间中结合一组有效特征的集成来优化风险。本文中，我们采用该观点来构建一种新的梯度提升方法，后者在数据分析中以强大著称。为此，我们利用函数梯度的概念对 ResNet 的梯度提升视角进行数学形式化，并提出一种称为 ResFGB 的、利用 ResNet 感知的新方法用于分类任务。从优化视角给出了两类泛化保证：其一为间隔界，其二为通过样本分割技术的期望风险界。实验结果表明，所提方法优于 LightGBM 等最先进方法。
引用
@article{arxiv.1802.09031,
title = {Functional Gradient Boosting based on Residual Network Perception},
author = {Atsushi Nitanda and Taiji Suzuki},
journal= {arXiv preprint arXiv:1802.09031},
year = {2018}
}
备注
22 pages, 1 figure, 1 table. An extended version of ICML 2018 paper