基于大语言模型的对话关系抽取实证分析
计算与语言
2024-04-30 v1 人工智能
摘要
对话关系抽取（DRE）旨在抽取对话中两个论元之间的关系，由于对话中人称代词频率更高且信息密度更低，这比标准关系抽取更具挑战性。然而，现有的 DRE 方法仍存在两个严重问题：（1）难以捕捉长且稀疏的多轮信息，（2）难以基于部分对话抽取黄金关系，这促使我们探索更有效的方法来缓解上述问题。我们注意到大语言模型（LLMs）的兴起引发了人们对其在多样化任务上性能评估的浓厚兴趣。为此，我们首先考察了不同 LLMs 在 DRE 中的能力，同时考虑了专有模型和开源模型。有趣的是，我们发现 LLMs 显著缓解了现有 DRE 方法中的两个问题。总体而言，我们有以下发现：（1）扩大模型规模大幅提升了整体 DRE 性能并取得了卓越的结果，解决了捕捉长且稀疏多轮信息的困难；（2）与现有方法相比，LLMs 从完整对话设置到部分对话设置的性能下降幅度要小得多；（3）在全样本和少样本设置下，LLMs 与当前 SOTA 相比均表现出具有竞争力或更优的性能；（4）LLMs 在逆关系上表现一般，但在一般关系上有更强的提升，并且能够处理各种长度的对话，尤其是长序列。
引用
@article{arxiv.2404.17802,
title = {Empirical Analysis of Dialogue Relation Extraction with Large Language Models},
author = {Guozheng Li and Zijie Xu and Ziyu Shang and Jiajun Liu and Ke Ji and Yikai Guo},
journal= {arXiv preprint arXiv:2404.17802},
year = {2024}
}
备注
IJCAI 2024