基于transformer的深度强化学习方法用于部分可观测 Morris Water Maze中的空间导航
机器人学
2024-10-18 v1 人工智能
机器学习
摘要
导航是神经科学实验中广泛研究的基础认知技能，近日在人工智能领域获得了广泛关注。本文仿照rodents在 established Morris Water Maze（MWM）实验中解决的任务，应用transformer-based架构使用深度强化学习——该方法此前在此类情境中尚未探索——以2D版本的迷宫中进行导航。具体而言，代理人利用解码器专用的transformer架构作为深度Q网络，在部分可观测环境中实现有效决策。我们证明，所提出的架构使代理人能够高效学习空间导航策略，克服了视野有限的挑战，这对应用于MWM中rodent的视觉信息。该工作表明，基于transformer的模型在部分可观测环境中提升导航性能具有潜力，为未来研究人工智能代理，其行为类似于生物学代理人提供了广阔的研究方向。最后，transformer架构支持可变长度输入序列的灵活性，为深入理解人工代理人对环境的内在表征提供了机遇。
引用
@article{arxiv.2410.12820,
title = {A transformer-based deep reinforcement learning approach to spatial navigation in a partially observable Morris Water Maze},
author = {Marte Eggen and Inga Strümke},
journal= {arXiv preprint arXiv:2410.12820},
year = {2024}
}