DynamicEmbedding：为大规模应用扩展 TensorFlow
人工智能
2020-04-20 v1 机器学习
摘要
当前具有稀疏特征的深度学习模型的一个局限性源于其输入的预定义性质，这要求在训练前定义一个字典。通过本文，我们提出了一种理论和一套可行的系统设计来消除这一限制，并表明由此产生的模型能够表现更好，并在更大规模上高效运行。具体而言，我们通过将模型的内容与其形式解耦，来分别处理架构演化和内存增长。为了高效处理模型增长，我们提出了一种新的神经元模型，称为 DynamicCell，其灵感来自自由能原理 [15]，引入了反应的概念以释放非消化能量，这也将基于梯度下降的方法作为其特例包含在内。我们通过在 TensorFlow 中引入一个新的服务器来实现 DynamicCell，以接管涉及模型增长的大部分工作。因此，它使任何现有的深度学习模型能够高效处理任意数量的不同稀疏特征（例如，搜索查询），并持续增长而无需重新定义模型。最值得注意的是，我们的一个模型已在生产环境中可靠运行超过一年，能够为 Google Smart Campaigns 的广告主建议高质量的关键词，并基于一项具有挑战性的指标取得了显著的准确率提升——这证明了数据驱动、自我演化的系统有可能超越传统基于规则的方法的性能。
引用
@article{arxiv.2004.08366,
title = {DynamicEmbedding: Extending TensorFlow for Colossal-Scale Applications},
author = {Yun Zeng and Siqi Zuo and Dongcai Shen},
journal= {arXiv preprint arXiv:2004.08366},
year = {2020}
}