越过混沌边缘？过剩复杂性作为通用人工智能的路障
人工智能
2024-07-08 v1 计算复杂性
摘要
在本研究中，我们通过复杂性理论的视角探讨了人工智能（AI）系统的发展轨迹。我们挑战了基于 Transformer 架构的 AI 向通用人工智能（AGI）发展的传统线性和指数级预测，并提出存在类似于复杂系统中相变的关键点，在这些点处 AI 性能可能会在超过临界复杂性阈值后趋于平稳或退化为不稳定状态。我们采用基于智能体的建模（ABM）来模拟特定假设下 AI 系统演化的假设场景，并使用基准性能作为能力和复杂性的代理指标。我们的模拟表明，AI 系统复杂性的增加如何超过上临界阈值，从而导致不可预测的性能行为。此外，我们开发了一种实用方法，利用模拟数据和随机梯度下降来微调检测阈值，从而检测这些临界阈值。本研究为 AI 的发展提供了一个与大语言模型（LLM）特别相关的新视角，强调了对推断 AI 增长潜力采取审慎态度的必要性，并突出了开发更稳健、更全面的 AI 性能基准的重要性。
引用
@article{arxiv.2407.03652,
title = {Over the Edge of Chaos? Excess Complexity as a Roadblock to Artificial General Intelligence},
author = {Teo Susnjak and Timothy R. McIntosh and Andre L. C. Barczak and Napoleon H. Reyes and Tong Liu and Paul Watters and Malka N. Halgamuge},
journal= {arXiv preprint arXiv:2407.03652},
year = {2024}
}