配对开放式开拓者(POET)：无尽生成日益复杂且多样的学习环境及其解法

尽管机器学习的历史在很大程度上涵盖了研究者提出的一系列问题以及学习其解的算法，一个重要的问题是问题本身是否能在被求解的同时由算法生成。这样的过程实际上会构建自身多样且不断扩展的课程，而各阶段问题的解将成为后续过程中解决更具挑战性问题的踏脚石。本文引入的配对开放式开拓者(POET)算法正是如此：它将环境挑战的生成与求解这些挑战的智能体优化相配对。它同时探索可能问题与解空间中的许多不同路径，并且关键地，允许这些踏脚石解在问题间迁移（若更优）从而催化创新。开放式一词意指如 POET 这类算法无界地持续创造新颖且日益复杂能力的引人入胜的潜力。我们的结果表明，POET 产生了多样 sophisticated 行为，解决了广泛的环境挑战，其中许多无法仅靠直接优化解决，甚至无法通过为凸显开放式在解决雄心勃勃挑战中关键作用而引入的直接路径课程构建控制算法解决。将解从一个环境迁移到另一个环境的能力被证明对释放系统整体全部潜力至关重要，展示了幸运踏脚石不可预测的本质。我们希望 POET 能激发跨多个领域对开放式发现的新推动，其中如 POET 的算法能在其有趣的可能表征与解中开拓道路。