中文

BERT-VBD:越南语多文档摘要框架

计算与语言 2024-09-19 v1 人工智能

摘要

在解决多文档摘要(MDS)挑战时,已提出许多方法,涵盖提取式和抽象式摘要技术。然而,每种方法都有其局限性,单独依赖其中任何一种方法都不够有效。一种新兴且有前景的策略是结合提取式和抽象式摘要方法的协同融合。尽管该领域已有大量研究,但针对越南语语言处理的组合方法研究仍稀少。本文提出了一种新颖的越南语MDS框架,采用两组件管道架构集成提取式和抽象式技术。第一个组件采用提取式方法识别每个文档中的关键句子。这通过修改预训练的BERT网络实现,网络采用siamese网络和triplet网络结构派生语义意义的短语嵌入。第二个组件利用VBD-LLaMA2-7B-50b模型进行抽象式摘要,最终生成最终摘要文档。我们的方法在VN-MDS数据集上实现了39.6%的ROUGE-2得分,显著优于现有SOTA基线。

关键词

引用

@article{arxiv.2409.12134,
  title  = {BERT-VBD: Vietnamese Multi-Document Summarization Framework},
  author = {Tuan-Cuong Vuong and Trang Mai Xuan and Thien Van Luong},
  journal= {arXiv preprint arXiv:2409.12134},
  year   = {2024}
}

备注

10 pages