ToMMeR——从大型语言模型中高效获取实体提及
计算与语言
2026-04-21 v2 人工智能
摘要
识别文本片段中指代实体的.span——实体提及检测——既是信息抽取的基础，也是已知的性能瓶颈。我们引入ToMMeR，一种轻量级模型（<300K参数），从早期LLM层探测实体提及能力。跨13个命名实体识别（NER）基准测试，ToMMeR实现了93%的召回率零样本，预计在人类校准的LLM评判协议下达到约90%的精确率，显示ToMMeR尽管召回率高，几乎不会产生虚假预测。跨模型分析显示， diverse 架构（参数范围14M-15B）在相似的实体边界上收敛（DICE>75%），表明实体提及检测自然地从语言建模中涌现。当扩展以跨度分类头时，ToMMeR在标准基准测试上实现了竞争的NER性能（80-87% F1分数）。我们的工作提供了证据表明，早期Transformer层中存在结构化实体表示，并且可以用最小参数高效恢复。
引用
@article{arxiv.2510.19410,
title = {ToMMeR -- Efficient Entity Mention Detection from Large Language Models},
author = {Victor Morand and Nadi Tomeh and Josiane Mothe and Benjamin Piwowarski},
journal= {arXiv preprint arXiv:2510.19410},
year = {2026}
}
备注
Accepted at ACL2026 - Code: https://github.com/VictorMorand/llm2ner