自适应正则化子模最大化

在本文中，我们研究在自适应设定下最大化自适应子模（收益）函数与非负模（成本）函数之差的问题。我们问题的输入是一组 $n$ 个物品，其中每个物品具有从某个已知先验分布 $p$ 中抽取的特定状态。收益函数 $g$ 定义在物品和状态上，成本函数 $c$ 定义在物品上，即每个物品具有固定成本。每个物品的状态最初未知，必须选择一个物品才能观测其实现状态。策略 $\pi$ 根据迄今所做的观测指定下一步选择哪个物品。记 $g_{avg}(\pi)$ 为 $\pi$ 的期望收益，令 $c_{avg}(\pi)$ 表示 $\pi$ 的期望成本。我们的目标是在 $k$ 基数约束下找出最优策略 $\pi^o\in \arg\max_{\pi}g_{avg}(\pi)-c_{avg}(\pi)$。由于我们的目标函数可取负值和正值，现有的子模最大化结果可能不适用。为克服这一挑战，我们开发了一系列具有性能保证的有效解法。令 $\pi^o$ 表示最优策略。对于 $g$ 为自适应单调且自适应子模的情形，我们开发出有效策略 $\pi^l$，使得 $g_{avg}(\pi^l) - c_{avg}(\pi^l) \geq (1-\frac{1}{e}-\epsilon)g_{avg}(\pi^o) - c_{avg}(\pi^o)$，且仅使用 $O(n\epsilon^{-2}\log \epsilon^{-1})$ 次值预言查询。对于 $g$ 为自适应子模的情形，我们给出随机策略 $\pi^r$，使得 $g_{avg}(\pi^r) - c_{avg}(\pi^r) \geq \frac{1}{e}g_{avg}(\pi^o) - c_{avg}(\pi^o)$。