示范引导的规范搜索
人工智能
2023-04-25 v4 形式语言与自动机理论
摘要
本文考虑从专家示范中学习时序任务规范（如自动机与时态逻辑）的问题。任务规范是一类稀疏记忆增强奖励，显式支持时序与布尔组合。三个特征使学习时序任务规范变得困难：（1）所考虑任务的（可数）无限性；（2）对编码任务所需记忆的先验无知；（3）离散解空间——通常通过（暴力）枚举处理。为克服这些障碍，我们提出示范引导的规范搜索（DISS）：一类仅需黑盒访问最大熵规划器与来自带标签样本的task采样器的算法族。DISS 随后通过交替进行如下操作来工作：猜想带标签样本以使所给示范更不令人意外，以及采样与所猜想带标签样本一致的任务。我们在由确定性有限自动机描述的任务背景下给出 DISS 的具体实现，并表明 DISS 能够仅从一到两个专家示范中高效辨识任务。
引用
@article{arxiv.2112.10807,
title = {Demonstration Informed Specification Search},
author = {Marcell Vazquez-Chanlatte and Ameesh Shah and Gil Lederman and Sanjit A. Seshia},
journal= {arXiv preprint arXiv:2112.10807},
year = {2023}
}