线性多臂老虎机的离线聚类：数据有限下的聚类的力量
机器学习
2025-10-28 v2 机器学习
摘要
情境多臂老虎机是一项基本的学习框架，用于做出一系列决策，例如为到达的用户序列推荐广告。近期研究表明，基于其所学习偏好相似性对这些用户进行聚类可加速学习过程。然而，先前的工作主要聚焦于在线设置，这要求不断收集用户数据，忽略了许多应用中可获得的离线数据。为克服这些限制，我们研究了老虎机的离线聚类（Off-ClusBand）问题，即如何使用离线数据集来学习聚类属性并改进决策。Off-ClusBand问题的关键挑战在于数据不足：由于我们拥有固定且有限的数据集而非在线数据，必须确定我们是否拥有足够的数据来自信地将用户聚类在一起。为解决这一挑战，我们提出了两种算法：Off-C2LUB，该算法在有限的离线用户数据下解析和实验上均优于现有方法；以及Off-CLUB，当数据稀疏时可能引入偏差，但当数据充足时表现良好且几乎匹配下界。我们在真实和合成数据集上进行了实验验证。
引用
@article{arxiv.2505.19043,
title = {Offline Clustering of Linear Bandits: The Power of Clusters under Limited Data},
author = {Jingyuan Liu and Zeyu Zhang and Xuchuang Wang and Xutong Liu and John C. S. Lui and Mohammad Hajiesmaili and Carlee Joe-Wong},
journal= {arXiv preprint arXiv:2505.19043},
year = {2025}
}