火箭发射：一种用于训练高性能轻量级网络的通用高效框架
机器学习
2018-03-16 v3 机器学习
摘要
应用于实时响应任务（如点击率（CTR）预测模型）的模型要求高精度和严格的响应时间。因此，具有高深度和复杂度的顶尖深度模型由于推理时间的限制，并不适合这些应用。为了在时间和计算资源的限制下进一步提升神经网络的性能，我们提出了一种利用笨重网络来帮助训练轻量级网络进行预测的方法。我们将整个过程称为火箭发射，其中笨重的助推器网络在整个训练过程中用于引导目标轻量级网络的学习。我们分析了旨在推动轻量级网络使其行为与助推器网络相似的不同损失函数，并在实验中采用了性能最佳的损失函数。我们使用一种称为梯度块的技术来进一步提升轻量级网络和助推器网络的性能。在基准数据集和实际工业广告数据上的实验表明，我们的轻量级模型能够获得以往只有更复杂模型才能达到的性能。
引用
@article{arxiv.1708.04106,
title = {Rocket Launching: A Universal and Efficient Framework for Training Well-performing Light Net},
author = {Guorui Zhou and Ying Fan and Runpeng Cui and Weijie Bian and Xiaoqiang Zhu and Kun Gai},
journal= {arXiv preprint arXiv:1708.04106},
year = {2018}
}
备注
10 pages, AAAI2018