超越下一个标记：通过高效多标记预测实现提示鲁棒的零样本分类
计算与语言
2025-04-07 v1
摘要
零样本文本分类通常依赖提示工程，但大语言模型的提示脆弱性削弱了其可靠性。提示中的微小变更会导致模型性能显著差异。我们认为这种提示脆弱性主要源于现有方法仅关注下一个标记概率的狭窄焦点。为此，我们提出占位符并行预测 (P3)，一种新方法，预测多个位置的标记概率，并在单次语言模型运行中模拟生成路径的全面采样。实验表明，P3 在准确率方面取得改善，提示下的标准差降低最高可达 98%，显著提升鲁棒性。即使无需提示，P3 也能保持相当的性能，减少对提示工程的需求。
引用
@article{arxiv.2504.03159,
title = {Beyond the Next Token: Towards Prompt-Robust Zero-Shot Classification via Efficient Multi-Token Prediction},
author = {Junlang Qian and Zixiao Zhu and Hanzhang Zhou and Zijian Feng and Zepeng Zhai and Kezhi Mao},
journal= {arXiv preprint arXiv:2504.03159},
year = {2025}
}
备注
Accepted in NAACL 2025 (main Oral)