以低技术债务进行情境化决策
机器学习
2017-05-10 v2 分布式、并行与集群计算
摘要
应用和系统不断面临需要根据情境信息从一组动作中做出选择的决策。诸如 contextual bandits 等基于强化的学习算法在这些设置中非常有效，但在实践中应用它们充满技术债务，且不存在完全支持它们的通用系统。我们解决了这一问题并创建了首个用于情境学习的通用系统，称为决策服务（Decision Service）。现有系统常遭受由不正确数据收集和弱可调试性等问题引起的技术债务，我们通过我们的机器学习（ML）方法论和系统抽象系统地解决了这些问题。决策服务利用四个在循环中相连的系统抽象实现了情境bandit学习的各个方面：探索（决策空间）、记录、学习、部署。值得注意的是，我们新的探索和记录抽象确保系统产生正确的无偏数据，我们的学习器使用这些数据进行在线学习并实现实时保护，所有过程均以完全可复现的方式完成。决策服务具有简单的用户界面，并适用于多种应用：我们展示了两个用于内容推荐的实时生产部署，实现了25-30%的点击率提升，另一个在落地页实现了18%的收入提升，以及在技术支持和机器故障处理中的持续应用。该服务做出实时决策并持续、可扩展地学习，同时显著降低技术债务。
引用
@article{arxiv.1606.03966,
title = {Making Contextual Decisions with Low Technical Debt},
author = {Alekh Agarwal and Sarah Bird and Markus Cozowicz and Luong Hoang and John Langford and Stephen Lee and Jiaji Li and Dan Melamed and Gal Oshri and Oswaldo Ribas and Siddhartha Sen and Alex Slivkins},
journal= {arXiv preprint arXiv:1606.03966},
year = {2017}
}