超越点击率：具有多级反馈的网页链接选择

网页链接选择问题是从一个大型网页链接池中选取一小部分网页链接，并将其放置在一个只能容纳有限数量链接的网页上，例如广告、推荐或新闻推送。尽管长期关注的点击率反映了链接本身的吸引力，但收益只能来自用户点击后的行为，例如通过推荐链接跳转到产品页面后购买。因此，网页链接具有内在的多级反馈结构。基于这一观察，我们考虑无上下文的网页链接选择问题，其目标是在保证吸引力不低于预设阈值的同时最大化收益。该问题的关键挑战在于每个链接的多级反馈是随机的，且除非该链接被选中否则不可观测。我们用带约束的随机多臂老虎机形式化该问题，并设计了一种高效的链接选择算法，称为约束上置信界算法（Con-UCB），证明了其遗憾与吸引力约束违反量均具有 $O(\sqrt{T\ln T})$ 的界。我们在三个真实数据集上进行了大量实验，表明 Con-UCB 在涉及多级反馈结构方面优于最先进的无上下文老虎机算法。