将公式编码为深度网络：用于 LTL 公式零样本执行的强化学习
机器人学
2020-08-07 v2 计算与语言
摘要
我们展示了一个强化学习智能体，其使用组合式循环神经网络，以 LTL 公式作为输入并确定满足公式的动作。输入的 LTL 公式此前从未见过，但网络执行零样本泛化以满足它们。这是 RL 智能体的一种新颖多任务学习形式，智能体从一组多样任务中学习并泛化到另一组多样任务。网络的构造赋予了这种泛化能力。我们在两个领域中演示了该能力。在符号领域中，智能体找到被接受的一串字母。在类 Minecraft 环境中，智能体找到符合公式的一串动作。先前工作能在给定某公式样本后可靠学习执行该公式，而我们展示如何可靠地编码所有公式。这可构成新型多任务智能体的基础，其发现子任务并无额外训练即执行，以及遵循更复杂语言指令的智能体。此种泛化所需的结构特定于 LTL 公式，这引出了一个有趣的理论问题：神经网络中针对不同的逻辑实现零样本泛化需要何种结构？
引用
@article{arxiv.2006.01110,
title = {Encoding formulas as deep networks: Reinforcement learning for zero-shot execution of LTL formulas},
author = {Yen-Ling Kuo and Boris Katz and Andrei Barbu},
journal= {arXiv preprint arXiv:2006.01110},
year = {2020}
}
备注
Accepted in IROS 2020