利用代码本知识结合 NLI 与 ChatGPT 进行零样本政治关系分类
计算与语言
2024-06-07 v3 人工智能
信息检索
机器学习
摘要
是否可以在无需大量标注的情况下，在演进的事件本体论中准确分类政治关系？本研究调查了使用现有标注代码本中专家知识的零样本学习方法，并评估了先进的 ChatGPT（GPT-3.5/4）和基于自然语言推理（NLI）的称为 ZSP 的模型的性能。ChatGPT 使用代码本的标注摘要作为提示，而 ZSP 将分类任务分解为上下文、事件模式和类别消歧以精炼任务特定假设。这种分解增强了可解释性、效率以及对模式变更的适应性。实验揭示了 ChatGPT 的优势与局限，并关键地表明 ZSP 优于基于字典的方法，且相对于某些有监督模型具有竞争优势。这些发现肯定了 ZSP 在验证事件记录和推进本体论开发方面的价值。我们的研究强调了利用迁移学习和现有领域专业知识以提升研究效率与可扩展性的功效。
引用
@article{arxiv.2308.07876,
title = {Leveraging Codebook Knowledge with NLI and ChatGPT for Zero-Shot Political Relation Classification},
author = {Yibo Hu and Erick Skorupa Parolin and Latifur Khan and Patrick T. Brandt and Javier Osorio and Vito J. D'Orazio},
journal= {arXiv preprint arXiv:2308.07876},
year = {2024}
}
备注
ACL 2024