视觉自回归模型的电路复杂度上界
机器学习
2025-01-09 v1 人工智能
计算复杂性
计算与语言
机器学习
摘要
了解特定模型的表达能力是把握其容量限制的关键。最近几项研究在 Transformer 架构上建立了电路复杂度上界。此外，视觉自回归（VAR）模型已成为图像生成领域的突破性方法，相较于扩散 Transformer 等先前技术，在生成高质量图像方面表现卓越。本文研究了 VAR 模型的电路复杂度，提出了相关上界。我们的主要结果表明，VAR 模型等价于由隐藏维度 且精度为 的均匀 阈值电路实现。这是首个严格揭示 VAR 模型表达力度局限性的研究，尽管其性能令人印象深刻。我们认为本研究发现将为把握这些模型内在约束提供宝贵见解，并指导未来开发更高效和更具表达力的架构。
引用
@article{arxiv.2501.04299,
title = {Circuit Complexity Bounds for Visual Autoregressive Model},
author = {Yekun Ke and Xiaoyu Li and Yingyu Liang and Zhenmei Shi and Zhao Song},
journal= {arXiv preprint arXiv:2501.04299},
year = {2025}
}