具有隐藏低秩结构的随机线性_bandit
机器学习
2019-01-29 v1 机器学习
摘要
高维表示常具有更低维的底层结构。这在许多决策场景中尤为明显。例如，当动作表示由深度神经网络生成时，预期具有低秩结构是合理的，而传统结构如稀疏性不再成立。子空间恢复方法，如主成分分析（PCA）可发现特征空间中的底层低秩结构并降低学习任务复杂度。本工作中，我们提出投影随机线性 Bandit（PSLB），一种用于高维随机线性 bandit（SLB）的算法，适用于动作表示具有底层低维子空间结构的情况。PSLB 采用基于 PCA 的投影迭代寻找 SLB 中的低秩结构。我们证明采用投影方法可确保降维，并得到更紧的 regret 上界，该上界取决于子空间及其性质的维度，而非环境空间的维度。我们将图像分类任务改造为 SLB 设定，并经验性地表明，当预训练 DNN 提供高维特征表示时，与最先进算法相比，采用 PSLB 可显著减少 regret 并更快收敛到准确模型。
引用
@article{arxiv.1901.09490,
title = {Stochastic Linear Bandits with Hidden Low Rank Structure},
author = {Sahin Lale and Kamyar Azizzadenesheli and Anima Anandkumar and Babak Hassibi},
journal= {arXiv preprint arXiv:1901.09490},
year = {2019}
}