从Transformer表征中学习认知地图以实现部分观测环境中的高效规划
机器学习
2024-01-12 v1 人工智能
摘要
尽管在广泛的任务上表现出色，包括仅在推理时揭示的上下文任务，但为下一词元预测训练的普通Transformer及其变体（a）并未学习其环境的显式世界模型，无法灵活查询；（b）不能用于规划或导航。本文考虑部分观测环境（Partially Observed Environments，POEs），其中智能体在导航时接收到感知上混淆的观测，这使得路径规划变得困难。我们引入了一种带有（多个）离散瓶颈的Transformer，称为TDB，其潜在编码学习了对观测和动作历史的压缩表示。在训练TDB根据历史预测未来观测之后，我们从其活跃瓶颈索引中提取可解释的环境认知地图。然后将这些地图与外部求解器配对，以解决（带约束的）路径规划问题。首先，我们证明在POEs上训练的TDB（a）保持了普通Transformer或LSTM近乎完美的预测性能，同时（b）以指数级速度更快地解决最短路径问题。其次，TDB从文本数据集中提取可解释的表示，同时达到比普通序列模型更高的上下文准确率。最后，在新的POEs中，TDB（a）达到近乎完美的上下文准确率，（b）学习准确的上下文认知地图，（c）解决上下文路径规划问题。
引用
@article{arxiv.2401.05946,
title = {Learning Cognitive Maps from Transformer Representations for Efficient Planning in Partially Observed Environments},
author = {Antoine Dedieu and Wolfgang Lehrach and Guangyao Zhou and Dileep George and Miguel Lázaro-Gredilla},
journal= {arXiv preprint arXiv:2401.05946},
year = {2024}
}