深度嵌入森林：基于深度嵌入特征的森林模型服务
机器学习
2017-03-16 v1
摘要
深度神经网络（DNN）已展现出从低级特征中提取高级嵌入向量的卓越能力。尽管取得了成功，但由于多层稠密矩阵昂贵的运行时计算，其服务时间仍是瓶颈。基于 GPGPU、FPGA 或 ASIC 的服务系统需要额外的硬件，这不符合大多数商业应用的主流设计。相比之下，树或森林模型因服务成本低而被广泛采用，但严重依赖精心工程化的特征。本文提出了一种深度嵌入森林模型，兼具两者之长。该模型由若干嵌入层和一个森林/树层组成。前者将高维（数十万至数百万）且异构的低级特征映射为低维（数千）向量，后者则确保快速服务。基于具有代表性的 DNN 模型 Deep Crossing 以及 XGBoost 和 LightGBM 两种森林/树模型，本文展示了两步深度嵌入森林算法，其性能与对应的 DNN 相当或略优，而在常规硬件上的服务时间仅需其一小部分。通过与本文提出的联合优化算法 partial fuzzification 进行比较，结果表明两步深度嵌入森林已达到接近最优的性能。基于某大型赞助搜索引擎的大规模数据集（多达 10 亿样本）的实验证明了所提模型的有效性。
引用
@article{arxiv.1703.05291,
title = {Deep Embedding Forest: Forest-based Serving with Deep Embedding Features},
author = {Jie Zhu and Ying Shan and JC Mao and Dong Yu and Holakou Rahmanian and Yi Zhang},
journal= {arXiv preprint arXiv:1703.05291},
year = {2017}
}
备注
14 pages, 3 figures, 5 tables