Scaffold-BPE：通过简单有效的支架词元移除增强大语言模型的字节对编码
计算与语言
2024-11-14 v3
摘要
字节对编码（BPE）是自然语言处理（NLP）领域中一种基础的文本分词方法。尽管被广泛采用，原始的 BPE 算法存在一个固有缺陷：它无意中引入了文本语料库中词元的频率不平衡。由于 BPE 迭代地合并文本语料库中最频繁的词元对以生成新词元，并将所有生成的词元保留在词汇表中，它不可避免地包含了一些主要作为更长词元组成部分且自身很少单独出现的词元。我们将此类词元称为支架词元。由于它们在文本语料库中出现频率低，支架词元引发了学习不平衡问题。为了解决这一问题，我们提出了 Scaffold-BPE，它通过对原始 BPE 方法进行无参数、计算量轻且易于实现的修改，引入了一种动态支架词元移除机制。这种新颖的方法确保了在给定文本的词元表示中排除低频支架词元，从而缓解了频率不平衡问题并促进了模型训练。在跨越语言建模甚至机器翻译的大量实验中，Scaffold-BPE 始终优于原始 BPE，充分证明了其有效性。
引用
@article{arxiv.2404.17808,
title = {Scaffold-BPE: Enhancing Byte Pair Encoding for Large Language Models with Simple and Effective Scaffold Token Removal},
author = {Haoran Lian and Yizhe Xiong and Jianwei Niu and Shasha Mo and Zhenpeng Su and Zijia Lin and Hui Chen and Peng Liu and Jungong Han and Guiguang Ding},
journal= {arXiv preprint arXiv:2404.17808},
year = {2024}
}