停止 Jostling：自适应负采样减少低资源语言标记的边际化

神经语言模型常因训练数据的有限性而在低资源语言方面表现不佳，这导致这些语言的标记在训练集中稀疏。本文针对训练中的一个具体挑战：稀疏标记在边际化作用下受到过度影响，进而难以有效学习。我们提出一种阈值技术，减少这种边际化的影响，使稀疏标记能够从更有意义的对齐中受益。通过在字符级语言模型上的实验，我们展示了该方法显著改进了在低资源语言验证数据上的性能。这一工作首次展示了如何应用负采样以限制过度边际化的有害影响，从而提高对欠代表语言的模型性能。