使用ChatGPT进行实体匹配
计算与语言
2023-06-23 v2
摘要
实体匹配是判定两个实体描述是否指向同一真实世界实体的任务。最先进的实体匹配方法通常依赖于微调Transformer模型如BERT或RoBERTa。使用这些模型进行实体匹配的两个主要缺点是:(i)模型需要大量微调数据才能达到良好性能;(ii)微调模型对分布外实体不够鲁棒。在本文中,我们研究使用ChatGPT进行实体匹配,作为相比传统Transformer模型更具鲁棒性、训练数据高效的替代方案。我们沿三个维度进行实验:(i)通用提示设计,(ii)上下文学习,以及(iii)提供更高层次的匹配知识。我们表明ChatGPT与微调的RoBERTa模型具有竞争力,在一项具有挑战性的匹配任务上达到82.35% F1的零样本性能,而RoBERTa需要2000个训练样本才能达到类似性能。当使用基于相似度的样例选择时,向提示中添加上下文示例进一步将F1提高至多7.85%。始终使用同一组10个手工挑选的示例可使零样本性能提升4.92%。最后,我们展示ChatGPT也可通过向提示中添加规则形式的更高层次匹配知识来引导。提供匹配规则带来的性能提升与提供上下文示例相似。
引用
@article{arxiv.2305.03423,
title = {Using ChatGPT for Entity Matching},
author = {Ralph Peeters and Christian Bizer},
journal= {arXiv preprint arXiv:2305.03423},
year = {2023}
}
备注
Accepted and to be published in Proceedings of ADBIS 2023 as short paper (https://www.essi.upc.edu/dtim/ADBIS2023/index.html)