从字符到标记：基于层次BPE的动态分组
计算与语言
2025-10-20 v1
摘要
字节配对编码（BPE）等子词分词方法因其在词汇表紧凑性和表示能力之间的平衡而广泛应用于大型语言模型。然而，这些方法在表示罕见词时效率不高，需构建大型嵌入矩阵。字符级模型虽可解决此问题，但在基于Transformer的架构中引入性能瓶颈。近期层次化模型试图通过将字符分组为片块来融合两者优势，但现有分块策略要么依赖空格限制适用于特定语言，要么需要额外模型引入新依赖。在本文中，我们提出一种动态字符分组方法，利用现有BPE分词的结构，无需额外模型。通过向BPE标记追加显式的片块结束标记，并引入第二级BPE压缩阶段控制分块粒度，本方法提供了高效、灵活且语言无关的表示。实验结果表明，本方法的性能与动态熵率和空格基准分块策略相当或更好，同时保持紧凑的词汇表。
引用
@article{arxiv.2510.15517,
title = {From Characters to Tokens: Dynamic Grouping with Hierarchical BPE},
author = {Rares Dolga and Lucas Maystre and Tudor Berariu and David Barber},
journal= {arXiv preprint arXiv:2510.15517},
year = {2025}
}