推荐中潜动作空间的探索与正则化

在推荐系统中，强化学习方案因能捕捉长期用户-系统交互而有效提升了推荐性能。然而，推荐策略的动作空间是一个物品列表，在动态候选物品池下可能极其庞大。为克服该挑战，我们提出一种超 actor 与 critic 学习框架，其中策略将物品列表生成过程分解为超动作推断步骤与效果动作选择步骤。第一步将给定状态空间映射至向量化超动作空间，第二步基于超动作选择物品列表。为调节两个动作空间间的差异，我们设计了一个对齐模块及物品核映射函数以确保推断精度，并引入监督模块以稳定学习过程。我们在公开数据集上构建模拟环境，并实证表明我们的框架在推荐上优于标准 RL 基线。