简单 Transformer 中的线性潜在世界模型：以 Othello-GPT 为例
机器学习
2023-10-24 v2 人工智能
摘要
基础模型在决策与逻辑推演方面展现出显著能力。然而，关于它们是对世界的真正理解还是仅仅随机模仿，仍存在持续争论。本文细致考察了一个为 Othello 训练的简单 Transformer，扩展了先前的研究以增进对 Othello-GPT 涌现世界模型的理解。研究发现，Othello-GPT 封装了对方棋子的线性表示，该因素因果性地引导其决策过程。本文进一步阐明了线性世界表示与因果决策之间的相互作用，以及它们对层深度和模型复杂度的依赖。我们已公开代码。
引用
@article{arxiv.2310.07582,
title = {Linear Latent World Models in Simple Transformers: A Case Study on Othello-GPT},
author = {Dean S. Hazineh and Zechen Zhang and Jeffery Chiu},
journal= {arXiv preprint arXiv:2310.07582},
year = {2023}
}