FBS：建模 Transformer 中的原生并行阅读
人工智能
2026-04-09 v2 计算与语言
摘要
大型语言模型(LLM)在诸多任务中表现出色，但推理仍由严格的逐token自回归主导。现有加速方法大多在此管道上进行修补，忽略了人类阅读的核心要素：内容自适应的前瞻、块状结构感知的计算分配，以及预览/浏览中的训练-测试一致性。我们提出Fovea-Block-Skip Transformer(FBS)，通过Parafovea-Attention Window(PAW)、Chunk-Head(CH)和Skip-Gate(SG)在Transformer中注入可训练的因果循环。 在多样化基准测试中，FBS在不增加参数数量的前提下改善了质量-效率权衡，消融实验表明三个模块是互补的。
关键词
引用
@article{arxiv.2601.21708,
title = {FBS: Modeling Native Parallel Reading inside a Transformer},
author = {Tongxi Wang},
journal= {arXiv preprint arXiv:2601.21708},
year = {2026}
}
备注
Accept to ACL2026 as findings