攀登WOL：为更廉价的推理而训练
信息检索
2020-07-06 v2 机器学习
摘要
宽输出层（WOL）的高效推理是大规模机器学习中一项基本但具有挑战性的任务。大多数方法将此问题简化为近似最大内积搜索（MIPS），这严重依赖于一个观察：对于给定模型，真实标签对应于全模型推理期间具有最高值的logits。然而，这种假设在实践中是有限制的。在本文中，我们认为近似MIPS子程序尽管具有亚线性的计算时间，但却是次优的，因为它们是为高召回率地检索大内积而量身定制的，而不是为了检索正确的标签。对于WOL，标签通常具有中等大小的内积，这使得近似MIPS更具挑战性。我们提出了一种替代的问题表述，称为标签优越采样（LSS），其目标是定制系统以确保检索到正确的标签。因此，我们提出了一种新颖的学习哈希方法，该方法比MIPS基线方法显著更高效，且足以实现高推理精度。我们广泛的评估表明，LSS可以达到甚至超越完整推理的精度，同时实现约5倍的加速和87%的能耗降低。
引用
@article{arxiv.2007.01230,
title = {Climbing the WOL: Training for Cheaper Inference},
author = {Zichang Liu and Zhaozhuo Xu and Alan Ji and Jonathan Li and Beidi Chen and Anshumali Shrivastava},
journal= {arXiv preprint arXiv:2007.01230},
year = {2020}
}