通过协同预测提示调优学习纠正细粒度实体类型标注中的噪声标签
计算与语言
2023-10-24 v1 人工智能
摘要
细粒度实体类型标注（FET）是自然语言处理中的一项基本任务，旨在为文本中的实体分配语义类型。然而，FET 带来了一个被称为噪声标注问题的主要挑战，当前方法依赖估计噪声分布来识别噪声标签，但却被多样化的噪声分布偏移所混淆。为应对这一局限，我们引入了用于 FET 中噪声纠正的协同预测提示调优（Co-Prediction Prompt Tuning），其利用多个预测结果来识别并纠正噪声标签。具体而言，我们整合预测结果以召回已标注标签，并利用差异化边界来识别不准确标签。此外，我们设计了一个关于微调过程中发散协同预测的优化目标，确保模型捕获充足信息并在噪声识别中保持鲁棒性。在三个广泛使用的 FET 数据集上的实验结果表明，我们的噪声纠正方法显著提升了各类训练样本的质量，包括使用远程监督、ChatGPT 和众包标注的样本。
引用
@article{arxiv.2310.14596,
title = {Learning to Correct Noisy Labels for Fine-Grained Entity Typing via Co-Prediction Prompt Tuning},
author = {Minghao Tang and Yongquan He and Yongxiu Xu and Hongbo Xu and Wenyuan Zhang and Yang Lin},
journal= {arXiv preprint arXiv:2310.14596},
year = {2023}
}
备注
Accepted by Findings of EMNLP 2023, 11 pages