TourBERT：一种面向旅游行业的预训练语言模型
计算与语言
2022-05-20 v3 人工智能
机器学习
摘要
基于Transformer的双向编码器表示（Bidirectional Encoder Representations from Transformers, BERT）目前是自然语言处理中最重要的前沿模型之一。然而，已有研究表明，对于特定领域任务，在领域语料上对BERT进行预训练是有帮助的。本文提出TourBERT，一种面向旅游业的预训练语言模型。我们描述了TourBERT的开发与评估过程。评估显示，在所有旅游相关任务中，TourBERT均优于BERT。
引用
@article{arxiv.2201.07449,
title = {TourBERT: A pretrained language model for the tourism industry},
author = {Veronika Arefieva and Roman Egger},
journal= {arXiv preprint arXiv:2201.07449},
year = {2022}
}
备注
Identified a mistake in our calculations. Will fix the problem within the next weeks and resubmit