Just Pass Twice: 利用 LLM 进行零样本命名实体识别的高效标记分类
计算与语言
2026-04-17 v2
摘要
大语言模型编码了丰富的世界知识，对零样本命名实体识别具有重要价值。然而，其因果注意力机制——标记仅关注 preceding 上下文——在消歧需要未来上下文时阻碍了有效的标记分类。现有方法以生成方式使用 LLM，提示它们列出实体或生成结构化输出，但存在自回归解码缓慢、幻觉实体和格式错误等问题。我们提出 Just Pass Twice (JPT)，一种简单而有效的方法，使因果 LLM 能够利用完整的双向上下文进行判别式标记分类。我们的关键洞见是，将输入自身拼接起来使第二次遍历中的每个标记能够关注完整句子，无需任何架构修改。我们将这些表示与定义引导的实体嵌入相结合，以实现灵活的零样本泛化。我们的方法在零样本 NER 基准测试上取得了最先进的结果，在 CrossNER 和 MIT 基准测试上平均超越先前最佳方法 +7.9 F1，且比可比的生成方法快 20 倍以上。
引用
@article{arxiv.2604.05158,
title = {Just Pass Twice: Efficient Token Classification with LLMs for Zero-Shot NER},
author = {Ahmed Ewais and Ahmed Hashish and Amr Ali},
journal= {arXiv preprint arXiv:2604.05158},
year = {2026}
}
备注
16 pages, 9 figures, 12 tables