DART：用于非线性 top-K 子集识别的自适应接受-拒绝算法

我们考虑在每步从 $N$ 个臂中选择 $K$ 个的多臂 bandit 问题。奖励可以是所选单个臂奖励的非线性函数。直接使用多臂 bandit 算法需在 $\binom{N}{K}$ 个选项中选择，使得动作空间巨大。为简化问题，现有组合 bandit 研究{通常}假设反馈为单个奖励的线性函数。本文中，我们证明了具有可能相关奖励的 top-$K$ 子集选择的 bandit 反馈下界。我们提出了一种用于组合场景的新算法，无需使用单个臂反馈也不要求奖励函数线性。此外，我们的算法适用于单个臂的相关奖励。我们的算法 aDaptive Accept RejecT (DART) 基于置信界依次寻找好臂并淘汰差臂。DART 计算高效且存储关于 $N$ 线性。进一步，DART 在时长 $T$ 下达到 $\tilde{\mathcal{O}}(K\sqrt{KNT})$ 的 regret 界，该界在因子 $\sqrt{\log{2NT}}$ 内匹配 bandit 反馈下界。当应用于交叉销售优化和最大化单个奖励均值问题时，所提算法性能超越 SOTA 算法。我们还展示了 DART 在线性与非线性联合奖励环境下均显著优于现有方法。