LifeGPT：面向细胞自动机的拓扑无关生成式预训练变换器模型
人工智能
2024-10-18 v2 材料科学
统计力学
动力系统
摘要
康威游戏（Life），作为细胞自动机（CA）更广泛类别中的一个著名算法，表现出复杂的涌现动态，对初始条件极其敏感。在缺乏对系统底层拓扑知识的情况下，对此类行为进行建模和预测 presents a significant challenge，动机是开发能够在各种网格配置和边界条件下泛化的算法。我们开发了一个 decoder-only 生成式预训练变换器（GPT）模型以解决此问题，展示了我们的模型可以在未知网格大小或其周期边界条件（LifeGPT）的情况下在环状网格上模拟 Life。LifeGPT 对于其训练数据的拓扑是agnostic 的，结果表明在给定足够多样化的训练数据的情况下，GPT 模型能够以近乎完美的准确性捕获图灵完备系统的确定性规则。我们还引入了 `autoregressive autoregressor' 的概念，用于递归实现 Life。我们的结果为在大型语言模型框架内实现真正的通用计算之路，数学分析与自然语言处理的合成，以及探索 AI 系统对此类算法演化的 situational awareness，而无需计算它们。类似的 GPT 也可能通过从真实世界生物系统中提取与 CA 兼容的规则集来解决多细胞自组装的逆问题，从而创建新的预测模型，这将对生物仿生材料、组织工程和构筑材料设计领域产生重大影响。
引用
@article{arxiv.2409.12182,
title = {LifeGPT: Topology-Agnostic Generative Pretrained Transformer Model for Cellular Automata},
author = {Jaime A. Berkovich and Markus J. Buehler},
journal= {arXiv preprint arXiv:2409.12182},
year = {2024}
}