NLPBK 在 VLSP-2020 共享任务上的工作：组合 Transformer 预训练模型用于社交网络可靠情报识别
计算与语言
2021-02-01 v1 信息检索
摘要
本文描述了我们微调基于 Transformer 的预训练模型以适配越南社交网络可靠情报识别问题的方法。我们还提出了一种将 bert-base 预训练模型与若干元数据特征（如评论数、点赞数、社交网络文档的图像等）相结合的模型，以提升 VLSP 共享任务“越南社交网络可靠情报识别”的结果。借助恰当的训练技术，我们的模型在公开测试集上取得了 0.9392 的 ROC-AUC，最终版本在私有测试集上以 0.9513 的 ROC-AUC 位列第二。
引用
@article{arxiv.2101.12672,
title = {NLPBK at VLSP-2020 shared task: Compose transformer pretrained models for Reliable Intelligence Identification on Social network},
author = {Thanh Chinh Nguyen and Van Nha Nguyen},
journal= {arXiv preprint arXiv:2101.12672},
year = {2021}
}
备注
5 pages, 2 figures