VLSP 2020 越南语关系抽取任务中使用预训练 BERT 模型的实证研究
计算与语言
2021-01-29 v2
摘要
本文中，我们呈现一项在 VLSP 2020 评测活动中使用预训练 BERT 模型进行关系抽取任务的实证研究。我们应用了两种基于 BERT 的先进模型：R-BERT 与带实体起始标记的 BERT 模型。对每种模型，我们比较了两种预训练 BERT 模型：FPTAI/vibert 与 NlpHUST/vibert4news。我们发现 NlpHUST/vibert4news 模型在越南语关系抽取任务上显著优于 FPTAI/vibert。最后，我们提出一种结合 R-BERT 与带实体起始标记 BERT 的集成模型。我们提出的集成模型在任务组织者提供的开发数据与测试数据上较两种单一模型略有提升。
引用
@article{arxiv.2012.10275,
title = {An Empirical Study of Using Pre-trained BERT Models for Vietnamese Relation Extraction Task at VLSP 2020},
author = {Pham Quang Nhat Minh},
journal= {arXiv preprint arXiv:2012.10275},
year = {2021}
}
备注
6 pages, VLSP 2020 Workshop, Camera Ready version