面向关系抽取的端到端可训练检索增强生成
计算与语言
2024-10-11 v2
摘要
本文解决了检索增强生成式关系抽取器中的一个关键挑战：由于实例检索的不可微性质，端到端训练不适用于传统的检索增强生成。这个问题阻止了实例检索器针对关系抽取任务进行优化，并且传统上它必须使用与关系抽取不同的目标进行训练。为了解决这个问题，我们提出了一种新颖的端到端可训练检索增强生成（ETRAG），它通过利用可微的个最近实例选择，允许整个模型（包括检索器）针对关系抽取目标进行端到端优化。我们在TACRED数据集上评估了ETRAG的关系抽取性能，该数据集是关系抽取的标准基准。随着检索实例的增加，ETRAG相对于基线模型表现出一致的改进。此外，对端到端训练检索器检索到的实例的分析证实，检索到的实例包含与查询共有的关系标签或实体，并且专门针对目标任务。我们的发现为检索增强生成以及自然语言处理中文本生成的更广泛应用提供了有前景的基础。
引用
@article{arxiv.2406.03790,
title = {End-to-End Trainable Retrieval-Augmented Generation for Relation Extraction},
author = {Kohei Makino and Makoto Miwa and Yutaka Sasaki},
journal= {arXiv preprint arXiv:2406.03790},
year = {2024}
}
备注
preprint