面向结构化大离散动作空间的动态邻域构造

大离散动作空间（LDAS）仍是强化学习中的核心挑战。现有解决方法可处理多达数百万动作的非结构化 LDAS。然而，物流、生产和运输系统中的许多真实应用具有组合动作空间，即便在小型实例上其规模也远超数百万动作。幸运的是，此类动作空间具有结构，例如等距离散资源单元。本工作致力于处理当前基准无法应对规模的结构化 LDAS（SLDAS）：我们提出动态邻域构造（DNC），一种面向 SLDAS 的新颖利用范式。我们提出一种可扩展的邻域探索启发式，利用该范式在结构化动作空间中高效探索连续代理动作周围的离散邻域，动作数可达 $10^{73}$。我们在两种不同环境中将其与三种专为大型离散动作空间设计的前沿方法基准比较，展示了本方法性能。结果表明，DNC 匹配或优于前沿方法，同时计算更高效。此外，我们的方法可扩展至迄今现有方法计算上不可处理的动作空间。