面向细粒度实体类型的提示学习方法
计算与语言
2021-08-25 v1 人工智能
摘要
作为一种调整预训练语言模型（PLMs）以适配特定任务的有效方法，提示学习（prompt-learning）近来受到研究者的广泛关注。通过使用完形填空（cloze）风格的语言提示来激发 PLMs 的丰富知识，提示学习能在一系列 NLP 任务（如自然语言推理、情感分类和知识探测）上取得有前景的结果。在本工作中，我们研究了提示学习在完全监督、少样本和零样本场景下的细粒度实体类型标注中的应用。我们首先通过构建面向实体的 verbalizer 和模板并进行掩码语言建模，开发了一个简单有效的提示学习流程。进一步，为应对零样本场景，我们提出了一种自监督策略，在提示学习中进行分布级优化以自动归纳实体类型的信息。在三个细粒度实体类型标注基准（最多86类）上的完全监督、少样本和零样本设置的广泛实验表明，提示学习方法显著优于微调基线，尤其在训练数据不充分时。
引用
@article{arxiv.2108.10604,
title = {Prompt-Learning for Fine-Grained Entity Typing},
author = {Ning Ding and Yulin Chen and Xu Han and Guangwei Xu and Pengjun Xie and Hai-Tao Zheng and Zhiyuan Liu and Juanzi Li and Hong-Gee Kim},
journal= {arXiv preprint arXiv:2108.10604},
year = {2021}
}