通过草图扩展的聚合线性情境 bandit

在聚合情境线性 bandit 中，高数据维度导致计算和通信成本的高企：本地 agent 执行 $O(d^3)$ 级别的行列式计算并上传 $O(d^2)$ 参数，使得现有算法难以扩大规模，其中 $d$ 为数据维度。为缓解这些扩展瓶颈，本文提出了聚合草图情境线性 bandit (FSCLB)。在计算方面，FSCLB 使用奇异值分解间接获取所需的行列式，从而消除直接行列式计算的高昂成本，将复杂度从 $O(d^3)$ 降低至每轮 $O(l^2d)$，其中 $l< d$ 为草图规模。在通信方面，FSCLB 引入双草图策略，将上传和下载成本从 $O(d^2)$ 降低至 $O(ld)$。纳入草图更新的聚合情境线性 bandit 可能破坏局部增量并使异步通信条件失效；FSCLB 通过在决定是否通信时将协方差矩阵替换为草图矩阵来解决此问题。理论上，FSCLB 达到 $\widetilde{O} ((\sqrt{d}+\sqrt{M\varepsilon_l})\sqrt{lT})$ 级别的后悔上界，其中 $\varepsilon_l$ 为协方差矩阵光谱尾部的上界；当 $l$ 超过协方差矩阵的秩时，上界简化为 $\widetilde{O}(\sqrt{ldT})$，匹配无草图的最优后悔。实验在合成数据和真实世界数据集上表明，FSCLB 通过超过 90% 显著降低计算和通信成本，同时仅牺牲极少的累积奖励。