基于 Thompson 采样的变量选择

Thompson 采样是一种用于多臂老虎机问题的启发式算法，在机器学习中有悠久传统。该算法具有贝叶斯精神，基于每个臂奖励概率的后验样本选择臂。通过建立组合二元老虎机与 spike-and-slab 变量选择之间的联系，我们提出一种称为 Thompson 变量选择（TVS）的子集选择随机优化方法。TVS 是一种不依赖底层模型为线性的可解释机器学习框架。TVS 将贝叶斯强化与机器学习结合，以将贝叶斯子集选择的应用扩展到非参数模型及具有极多预测变量和/或极多观测值的大型数据集。根据奖励的选择，TVS 可部署于离线以及带流式数据批的在线设置中。通过调整多臂老虎机以适应变量选择，我们给出了后悔界，无需假设臂平均奖励互不相关。我们在模拟和真实数据上均展示了极强的经验性能。与确定性的 spike-and-slab 变量选择优化方法不同，随机性质使 TVS 更不易陷入局部收敛，从而更鲁棒。