搜索引擎点击指标的反事实估计与优化
机器学习
2014-03-13 v2 人工智能
应用统计
机器学习
摘要
针对由用户反馈（如点击和支付）计算的在线指标来优化交互系统尤其具有挑战性，因为存在反事实性质：在Web搜索中，搜索引擎任何组件的更改都可能导致同一查询产生不同的搜索结果页面，但我们通常无法从搜索日志中可靠推断用户对新结果页面的反应。因此，除非新引擎上线服务用户并通过A/B测试与基线进行比较，否则似乎无法准确估计依赖于用户反馈的在线指标。这种方法虽然有效且成功，但代价高昂且耗时。本文提出在上下文bandit框架下使用因果推断技术来解决这一问题。该方法有效地允许从搜索日志中离线运行（可能无限多的）A/B测试，从而能够快速且廉价地估计和优化在线指标。我们聚焦于商业搜索引擎中的一个重要组件，展示了如何实例化和应用这些思想，并获得了非常有希望的结果，表明这些技术具有广泛的适用性。
引用
@article{arxiv.1403.1891,
title = {Counterfactual Estimation and Optimization of Click Metrics for Search Engines},
author = {Lihong Li and Shunbao Chen and Jim Kleban and Ankur Gupta},
journal= {arXiv preprint arXiv:1403.1891},
year = {2014}
}