Disordered-DABS:无序文本中动态基于方面的摘要基准
计算与语言
2024-06-19 v2
摘要
基于方面的摘要已取得显著进展,尤其是在结构化文本方面。然而,总结无序的大规模文本(如社交媒体和客户反馈中的文本)仍然是一个重大挑战。当前的研究主要针对结构化文本中预定义的方面,忽视了动态和无序环境的复杂性。为解决这一差距,我们引入了 Disordered-DABS,这是一个专为非结构化文本设计的动态基于方面摘要的新基准。通过调整现有数据集以实现成本效益和可扩展性,我们全面的实验和详细的人工评估表明,Disordered-DABS 为当代摘要模型(包括 GPT-3.5 等最先进的语言模型)带来了独特的挑战。
引用
@article{arxiv.2402.10554,
title = {Disordered-DABS: A Benchmark for Dynamic Aspect-Based Summarization in Disordered Texts},
author = {Xiaobo Guo and Soroush Vosoughi},
journal= {arXiv preprint arXiv:2402.10554},
year = {2024}
}