ADSumm：面向灾害推文摘要的标注真值摘要数据集
计算与语言
2024-05-13 v1 社会与信息网络
摘要
Twitter 等在线社交媒体平台在灾害事件期间提供有价值的信息。现有的推文灾害摘要方法提供这些事件的摘要，以帮助政府机构、人道主义组织等确保有效的灾害响应。在文献中，灾害摘要有两种类型的方法，即监督和无监督方法。尽管监督方法通常更有效，但它们需要大量灾害事件摘要用于测试和训练。然而，目前缺乏足够数量的用于训练和评估的灾害摘要数据集。这促使我们添加更多数据集以使监督学习方法更高效。在本文中，我们提出了 ADSumm，它为八起灾害事件添加了标注真值摘要，这些事件包括属于七个不同国家的自然和人为灾害事件。我们的实验分析表明，新添加的数据集在 ROUGE-N F1 分数方面将监督摘要方法的性能提高了 8-28%。此外，在新标注的数据集中，我们为每条输入推文添加了一个类别标签，这有助于确保摘要中不同类别的良好覆盖。另外，我们还添加了相关性标签和关键短语这两个特征，它们分别提供关于推文质量的信息以及关于将推文纳入摘要的解释。对于真值摘要的创建，我们详细介绍了所采用的标注流程，这在现有文献中尚未被描述。实验分析表明，真值摘要的质量在覆盖度、相关性和多样性方面非常好。
引用
@article{arxiv.2405.06551,
title = {ADSumm: Annotated Ground-truth Summary Datasets for Disaster Tweet Summarization},
author = {Piyush Kumar Garg and Roshni Chakraborty and Sourav Kumar Dandapat},
journal= {arXiv preprint arXiv:2405.06551},
year = {2024}
}