工具臂老虎机
机器学习
2017-05-23 v1 机器学习
摘要
我们将经典的多臂老虎机 (MAB) 模型扩展到存在不依从性的设定中，其中拉臂仅是一个工具，而实际施加的处理可能与之不同，这产生了工具臂老虎机 (IAB) 问题。当实验单元是人类时，IAB 设定是相关的，因为自由意志、伦理和法律可能禁止无限制或强制施加处理。特别地，该设定在动态临床试验和其他关于人类干预的对照试验的老虎机模型中具有相关性。尽管如此，该设定尚未在老虎机文献中得到充分研究。我们表明，在此设定中存在多种不同的遗憾概念，所有这些概念仅在经典 MAB 设定中才一致。我们刻画了这些遗憾的行为，并分析了标准的 MAB 算法。我们主张一种特定类型的遗憾，它捕获了处理的因果效应，但表明标准的 MAB 算法无法实现对该遗憾的次线性控制。相反，我们为 IAB 问题开发了新算法，为它们证明了新的遗憾界，并在数值示例中将其与标准 MAB 算法进行了比较。
引用
@article{arxiv.1705.07377,
title = {Instrument-Armed Bandits},
author = {Nathan Kallus},
journal= {arXiv preprint arXiv:1705.07377},
year = {2017}
}