一种受生物学启发的双流世界模型
机器学习
2022-09-19 v1 神经与进化计算
神经元与认知
摘要
内侧颞叶（MTL）是包含海马及其邻近区域的脑区，被假设为哺乳动物中的经验建构系统，支持对时间延展事件序列的回忆与想象。此类能力也是 AI 研究中许多近期提出的“世界模型”的核心。受此联系的启发，我们提出一种新变体——双流世界模型（DSWM），它从高维观测中学习并将其解离为上下文与内容两条流。DSWM 在仅单次暴露后便能在新颖 2D 环境中可靠生成想象轨迹，优于标准世界模型。DSWM 还学习到与海马中位置细胞高度相似的潜表示。我们展示该表示可作为强化学习的基函数，且生成模型可用于借助类 Dyna 更新辅助策略学习过程。
引用
@article{arxiv.2209.08035,
title = {A Biologically-Inspired Dual Stream World Model},
author = {Arthur Juliani and Margaret Sereno},
journal= {arXiv preprint arXiv:2209.08035},
year = {2022}
}