基于子任务图结构推断与迁移的小样本任务泛化快速推理
机器学习
2022-05-26 v1 人工智能
摘要
我们处理超出基于像素的游戏或模拟器的、具有复杂结构的现实世界问题。我们将其表述为一个小样本强化学习问题，其中任务由子任务图刻画，该图定义了一组子任务及其依赖关系，且这些对智能体未知。与以往试图直接推断非结构化任务嵌入的元强化学习方法不同，我们的多任务子任务图推断器（MTSGI）首先从训练任务中推断出关于子任务图的公共高层任务结构，并将其作为先验以改进测试中的任务推断。我们在 2D 网格世界和复杂网页导航域上的实验结果表明，所提方法能够学习并利用任务的公共底层结构，从而比各类现有算法（如元强化学习、分层强化学习及其他启发式智能体）更快地适应未见任务。
引用
@article{arxiv.2205.12648,
title = {Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization},
author = {Sungryull Sohn and Hyunjae Woo and Jongwook Choi and lyubing qiang and Izzeddin Gur and Aleksandra Faust and Honglak Lee},
journal= {arXiv preprint arXiv:2205.12648},
year = {2022}
}
备注
Accepted to UAI 2022 as an oral presentation