分词中的随机性提高了鲁棒性
计算与语言
2026-04-20 v1
摘要
大型语言模型(LLMs)的广泛采用增加了对其鲁棒性的关注。输入分词扰动的漏洞表明，针对确定性标准分词训练的模型对对抗性攻击脆弱。最近的研究表明，随机分词可以提供较不敏感于扰动的内部表示。在本文中，我们分析了随机分词如何影响对对抗性攻击和随机扰动的鲁棒性。我们在不同的学习阶段(预训练、监督微调和情境学习)、数据集和模型架构上系统性地研究了这一问题。我们表明，采用均匀抽样的随机分词进行预训练和微调可提高对随机和对抗性扰动的鲁棒性。在均匀抽样非标准分词上评估时，标准训练的Llama-1b模型准确率下降29.8%。我们发现，采用随机分词训练可在不增加推理成本的情况下保持准确率。
引用
@article{arxiv.2604.16037,
title = {Stochasticity in Tokenisation Improves Robustness},
author = {Sophie Steger and Rui Li and Sofiane Ennadir and Anya Sims and Arno Solin and Franz Pernkopf and Martin Trapp},
journal= {arXiv preprint arXiv:2604.16037},
year = {2026}
}