面向缓解基于提示调优的事实知识抽取中的对象偏差
信息检索
2023-06-12 v2
摘要
许多工作采用提示调优方法自动优化提示查询并抽取预训练语言模型中存储的事实知识。在本文中，我们观察到优化后的提示（包括离散提示和连续提示）表现出不期望的对象偏差。为解决该问题，我们提出了一种称为MeCoD的新型提示调优方法，由三个模块组成：提示编码器、对象均衡与偏差对象阻碍。实验结果表明，MeCoD能显著减少对象偏差，同时提高事实知识抽取的准确性。
引用
@article{arxiv.2306.03378,
title = {Towards Alleviating the Object Bias in Prompt Tuning-based Factual Knowledge Extraction},
author = {Yuhang Wang and Dongyuan Lu and Chao Kong and Jitao Sang},
journal= {arXiv preprint arXiv:2306.03378},
year = {2023}
}
备注
ACL 2023 Findings