基于 LLM 的时间线构建任务范式比较
计算与语言
2024-03-05 v1
摘要
构建时间线需要识别文章中事件的时间顺序。在现有时间线构建数据集中，时间顺序通常通过事件-时间锚定或事件-事件成对排序进行标注，但两者均存在时间信息缺失的问题。为缓解该问题，我们开发了一个新的评估数据集 TimeSET，由带有文档级顺序标注的单文档时间线组成。TimeSET 具有基于显著性的事件选择和偏序排序的特点，这使得标注工作量切实可行。旨在构建更好的自动时间线构建系统，我们提出了一个新颖的评估框架，通过提示开放式 LLM（即 Llama 2 和 Flan-T5），利用 TimeSET 比较多种任务范式。考虑到识别事件时间顺序是时间线构建的核心子任务，我们进一步在现有事件时间排序数据集上对开放式 LLM 进行基准测试，以稳健地了解其能力。我们的实验表明：（1）基于 Flan-T5 的 NLI 范式表现出色；而（2）时间线构建和事件时间排序对于少样本 LLM 而言仍是具有挑战性的任务。我们的代码和数据可在 https://github.com/kimihiroh/timeset 获取。
引用
@article{arxiv.2403.00990,
title = {Formulation Comparison for Timeline Construction using LLMs},
author = {Kimihiro Hasegawa and Nikhil Kandukuri and Susan Holm and Yukari Yamakawa and Teruko Mitamura},
journal= {arXiv preprint arXiv:2403.00990},
year = {2024}
}