ChatGPT零样本命名实体识别的实证研究
计算与语言
2023-10-17 v1
摘要
大语言模型（LLM）在各种自然语言处理任务中展现出强大的能力。本工作聚焦于探索LLM在零样本信息抽取上的性能，以ChatGPT和命名实体识别（NER）任务为重点。受LLM在符号与算术推理上卓越推理能力的启发，我们将流行的推理方法适配到NER，并提出专为NER定制的推理策略。首先，我们探索一种分解式问答范式，按标签将NER任务拆解为更简单的子问题。其次，我们提出句法增强，以两种方式激发模型的中间思考：句法提示，鼓励模型自身分析句法结构；以及工具增强，为模型提供由解析工具生成的句法信息。此外，我们通过提出两阶段多数投票策略将自一致性适配到NER，该策略先对最一致的提及投票，再对最一致的类型投票。所提方法在七个基准（包括中英文数据集，以及领域特定和通用领域场景）的零样本NER上取得显著改进。此外，我们对错误类型进行了全面分析并给出优化方向建议。我们还在少样本设置和其他LLM上验证了所提方法的有效性。
引用
@article{arxiv.2310.10035,
title = {Empirical Study of Zero-Shot NER with ChatGPT},
author = {Tingyu Xie and Qi Li and Jian Zhang and Yan Zhang and Zuozhu Liu and Hongwei Wang},
journal= {arXiv preprint arXiv:2310.10035},
year = {2023}
}
备注
Accepted to EMNLP 2023 (Main Conference)