理解大语言模型处理字符级扰动的能力
计算与语言
2026-05-29 v4
摘要
本工作探究了当代大型语言模型（LLMs）抵御频繁字符级扰动的韧性。我们检验了包括在单词内大量引入拼写错误、重新排列每个单词中的字符以及大量插入不可见字符到文本三类字符级扰动。令人惊讶的是，即便在如此极端的扰动下——例如将 nearly all words character-wise 乱序以产生几乎无法被人类阅读的文本，或插入不可见字符数量远超可见字符作为噪声——许多 LLMs 仍能保持显著的性能。我们探讨了这种韧性背后的原因，发现 LLMs 对混乱分段和碎片化词元化具有惊人的韧性。此外，我们考察了 LLMs 去除扰动以正确理解文本的机制，包括隐式和显式的字符级扰动机制。我们希望本研究揭示 LLMs 低层韧性的发现能揭示其内在架构优势，揭示其滥用的潜在风险，并为 LLMs 在多样化应用场景中的可靠部署提供指导。
引用
@article{arxiv.2510.14365,
title = {Understanding the Ability of LLMs to Handle Character-Level Perturbation},
author = {Anyuan Zhuo and Xuefei Ning and Ningyuan Li and Jingyi Zhu and Yu Wang and Pinyan Lu},
journal= {arXiv preprint arXiv:2510.14365},
year = {2026}
}
备注
Accepted by icml2026