集成还是不集成：端到端训练何时失效？

Andrew M. Webb; Charles Reynolds; Wenlin Chen; Henry Reeve; Dan-Andrei Iliescu; Mikel Lujan; Gavin Brown

doi:10.13140/RG.2.2.28091.46880

集成还是不集成：端到端训练何时失效？

机器学习 2020-08-07 v4 计算机视觉与模式识别机器学习

作者: Andrew M. Webb , Charles Reynolds , Wenlin Chen , Henry Reeve , Dan-Andrei Iliescu , Mikel Lujan , Gavin Brown

在 arXiv 上查看 ↗ PDF ↗ DOI ↗

摘要

端到端训练（E2E）在训练复杂的深度网络架构中正变得越来越流行。一个有趣的问题是这一趋势是否会持续——E2E 训练是否存在明显的失败情形？我们针对 E2E 训练网络集成这一具体情形深入研究了该问题。我们的策略是在两个极端之间平滑地混合梯度：从网络的独立训练，到完全的 E2E 训练。我们发现了明显的失败情形，即过参数化模型无法以 E2E 方式训练。一个令人惊讶的结果是，最优解有时介于两者之间，既非集成也非 E2E 系统。该工作还揭示了与 Dropout 的联系，并引发了关于集成多样性和多分支网络本质的疑问。

关键词

端到端训练网络集成过参数化模型梯度混合 Dropout 集成多样性多分支网络

引用

@article{arxiv.1902.04422,
  title  = {To Ensemble or Not Ensemble: When does End-To-End Training Fail?},
  author = {Andrew M. Webb and Charles Reynolds and Wenlin Chen and Henry Reeve and Dan-Andrei Iliescu and Mikel Lujan and Gavin Brown},
  journal= {arXiv preprint arXiv:1902.04422},
  year   = {2020}
}

备注

Code: https://github.com/grey-area/modular-loss-experiments. Preprint updated to reflect version accepted for publication at ECML

集成还是不集成：端到端训练何时失效？

摘要

关键词

引用

备注

相关论文