面向少样本学习的本体增强提示微调
计算与语言
2023-01-27 v1 人工智能
信息检索
机器学习
摘要
少样本学习（FSL）旨在基于有限数量的样本进行预测。知识图谱和本体库等结构化数据已被用于在各种任务中裨益少样本设定。然而，现有方法所采用的先验知识面临知识缺失、知识噪声和知识异构等挑战，制约了少样本学习的性能。在本研究中，我们探索基于预训练语言模型的知识注入用于FSL，并提出本体增强提示微调（OntoPrompt）。具体而言，我们基于外部知识图谱开发本体变换以解决知识缺失问题，其补全并将结构知识转换为文本。我们进一步通过可见矩阵引入跨度敏感的知识注入，以筛选信息性知识来处理知识噪声问题。为弥合知识与文本之间的鸿沟，我们提出一种联合优化表示的协同训练算法。我们在三个任务（包括关系抽取、事件抽取和知识图谱补全）上用八个数据集评估了所提出的OntoPrompt。实验结果表明，我们的方法能取得优于基线的少样本性能。
引用
@article{arxiv.2201.11332,
title = {Ontology-enhanced Prompt-tuning for Few-shot Learning},
author = {Hongbin Ye and Ningyu Zhang and Shumin Deng and Xiang Chen and Hui Chen and Feiyu Xiong and Xi Chen and Huajun Chen},
journal= {arXiv preprint arXiv:2201.11332},
year = {2023}
}
备注
Accepted by WWW2022