涌现的世界表征:探索在合成任务上训练的序列模型
机器学习
2024-06-27 v5 人工智能
计算与语言
摘要
语言模型展现出令人惊讶的能力范围,但其表面能力来源尚不清楚。这些网络只是记忆了一组表层统计,还是依赖于对其所观测序列生成过程的内部表征?我们通过将 GPT 模型的一个变体应用于预测简单棋盘游戏 Othello 中的合法走子来研究这一问题。尽管该网络对游戏及其规则没有先验知识,我们发现了其涌现的非线性棋盘状态内部表征的证据。干预实验表明,该表征可用于控制网络输出并创建"潜在显著性图",从而以人类可理解的方式帮助解释预测。
引用
@article{arxiv.2210.13382,
title = {Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task},
author = {Kenneth Li and Aspen K. Hopkins and David Bau and Fernanda Viégas and Hanspeter Pfister and Martin Wattenberg},
journal= {arXiv preprint arXiv:2210.13382},
year = {2024}
}
备注
ICLR 2023 oral (notable-top-5%): https://openreview.net/forum?id=DeG07_TcZvT ; code: https://github.com/likenneth/othello_world