TreeGPT：面向结构化推理的纯TreeFFN 编码器-解码器架构（无注意力机制）

我们提出TreeGPT，一种无注意力机制的神经网络架构，探索纯TreeFFN 编码器-解码器设计用于结构化推理任务的潜力。不同于依赖注意力机制的传统变换器方法，TreeGPT采用双向TreeFFN 组件通过相邻连接并行处理序列，旨在在保持推理能力的同时实现计算效率。我们的方法核心为TreeFFN 编码器-解码器机制：$$\text{Encoder TreeFFN (L} \rightarrow \text{R)} + \text{Decoder TreeFFN (R} \leftarrow \text{L)} \rightarrow \text{Parallel Processing}$$其中编码器处理从左到右的依赖关系，解码器处理从右到左的模式，两者均使用简单的邻居到邻居连接。该设计在保持序列建模能力的同时消除注意力计算。我们在ARC Prize 2025 数据集上评估了该方法，TreeGPT在验证集上实现99%的准确率，使用3.16M参数。模型在1500个训练步骤内收敛，并在选定评估样本上实现100%的标记级准确率。我们的初步结果表明，对于某些结构化推理任务，专用的TreeFFN 架构可能优于基于注意力的 methods。尽管这些发现令人鼓舞，但我们认识到需进一步在多样化任务和数据集上进行调查，以确立注意力-free 设计的更广泛适用性。