知识图谱构建的自动提示优化：来自实证研究的见解

知识图谱（KG）表示实体网络，描绘它们之间的关系。KG用于各种应用，包括语义搜索与发现、推理、决策、自然语言处理、机器学习和推荐系统。从文本中提取三元组（主体-关系-对象）是KG构建的基本构建块，已在诸如ACE 2002等早期基准到WebNLG 2020、REBEL和SynthIE等近期基准中进行广泛研究。虽然已探索使用大语言模型（LLM）进行KG构建，但为LLM手工构建合理的任务特定提示是一项耗时的工作，且由于LLM模型细微变化的脆弱性。最近的NLP任务（如自主生成）使用自动提示优化/工程来解决这一挑战，通过给定输入输出示例生成最佳或接近最佳的任务特定提示。本实证研究探索了自动提示优化用于三元组提取任务的应用，通过实验基准进行评估。我们通过改变（a）提示策略、（b）用于提示优化和任务执行的LLM、（c）模式（schema）中标准关系的数量（模式复杂度）、（d）输入文本的长度和多样性、（e）驱动提示优化的指标以及（f）用于训练和测试的数据集等设置进行评估。我们评估了三种不同的自动提示优化器，即DSPy、APE和TextGrad，并使用两种不同的三元组提取数据集SynthIE和REBEL。通过严格的实证评估，我们的主要贡献表明，自动提示优化技术可以为三元组提取生成类似人类的合理提示。相反，这些优化后的提示实现了 improved results，特别是在模式复杂度和文本规模增加时效果更佳。