Synergy：端到端概念模型

本文提出了 Synergy，一种通过学习路由机制以无缝方式桥接不同抽象层次的语言模型。我们聚焦于低层语言抽象，將模型训练为字节级语言模型。该模型自发学习对字节进行标记化，生成的概念标记数量少于字节级字节对编码器（BBPE）标记器，同时保持相当的性能。通过与 Llama3 比较，我们在相同模型规模和训练数据集规模下观察到 Synergy 的优势。进一步的研究表明，模型的中段（更高抽象层次）在移除位置编码后表现更好，这表明位置无关概念的出现。这些发现表明了无标记器架构的可行性，为更稳健和灵活的管道铺平了道路。