用于增量自主探索的分层状态发现

我们研究由 Lim & Auer (2012) 提出的自主探索（AX）问题。在该设定中，目标是发现一组 $\epsilon$-最优策略，到达一组 $\mathcal{S}_L^{\rightarrow}$ 中增量 $L$-可控状态。我们引入了一种基于状态扩展算子的迭代应用的增量 $L$-可控状态集合的新分层分解。我们利用这些结果设计了 Layered Autonomous Exploration (LAE)，一种达到样本复杂度 $\tilde{\mathcal{O}}(LS^{\rightarrow}_{L(1+\epsilon)}\Gamma_{L(1+\epsilon)} A \ln^{12}(S^{\rightarrow}_{L(1+\epsilon)})/\epsilon^2)$ 的 AX 新算法，其中 $S^{\rightarrow}_{L(1+\epsilon)}$ 为增量 $L(1+\epsilon)$-可控状态数，$A$ 为动作数，$\Gamma_{L(1+\epsilon)}$ 为这些状态上转移的 branching factor。LAE 相较 Tarbouriech 等人 (2020a) 的算法提升了 $L^2$ 倍，且是首个在可数无限状态空间中工作的 AX 算法。此外，我们表明在某一可辨识性假设下，LAE 实现了 $\tilde{\mathcal{O}}(LS^{\rightarrow}_{L}A\ln^{12}(S^{\rightarrow}_{L})/\epsilon^2)$ 的极小极大最优样本复杂度，优于现有算法，并首次在对数因子内匹配 Cai 等人 (2022) 证明的下界。