静默标记，大声效应：LLM中的填充
计算与语言
2025-10-07 v2 机器学习
摘要
填充标记广泛用于大语言模型（LLM）中，以在批量推理期间统一序列长度。虽然它们应当被完全屏蔽，但实现错误可能导致它们影响计算，而这种影响的程度尚不明确。我们系统地研究了该效应在三个开源模型族（Llama、Gemma、Qwen）中的表现，插入受控量的填充，并在四个维度上评估结果：激活、生成质量、偏差和安全性。即使少量的填充也会改变隐藏表示、降低小模型的生成质量、以不可预测的方式改变偏差，并削弱安全护栏。这些发现表明，填充并非无害的细节，而是一个必须在部署中谨慎处理的鲁棒性风险。
引用
@article{arxiv.2510.01238,
title = {Silent Tokens, Loud Effects: Padding in LLMs},
author = {Rom Himelstein and Amit LeVi and Yonatan Belinkov and Avi Mendelson},
journal= {arXiv preprint arXiv:2510.01238},
year = {2025}
}
备注
Accepted to NeurIPS 2025 Workshop on Evaluating the Evolving LLM Lifecycle: Benchmarks, Emergent Abilities, and Scaling