具有簇结构的隐变量老虎机的最优算法

我们考虑具有簇结构的隐变量老虎机问题，其中存在多个用户，每个用户关联一个多臂老虎机问题。这些用户被分组为\emph{隐变量}簇，使得同一簇内用户的平均收益向量相同。在每轮中，均匀随机选取一个用户，拉动一个臂并观测相应的带噪收益。用户的目标是最大化其累积收益。该问题对实际推荐系统至关重要，近来受到广泛关注\cite{gentile2014online, maillard2014latent}。若每个用户独立行动，则它们必须独立探索每个臂，此时$\Omega(\sqrt{\mathsf{MNT}})$的悔值是不可避免的，其中$\mathsf{M}$、$\mathsf{N}$分别为臂数和用户数。相反，我们提出LATTICE（通过矩阵补全的隐变量老虎机，Latent bAndiTs via maTrIx ComplEtion），其利用隐变量簇结构，在簇数为$\widetilde{O}(1)$时给出极小极大最优悔值$\widetilde{O}(\sqrt{(\mathsf{M}+\mathsf{N})\mathsf{T}})$。这是首个保证如此强悔值界的算法。LATTICE基于对簇内臂信息的精细利用，同时对用户进行聚类。此外，它计算高效，在所有$\mathsf{T}$轮中仅需$O(\log{\mathsf{T}})$次调用离线矩阵补全预言机。