BiTimeBERT：利用双时间信息扩展预训练语言表示
计算与语言
2023-04-28 v4
摘要
时间是文档的一个重要方面，并被用于一系列自然语言处理（NLP）和信息检索（IR）任务中。在这项工作中，我们研究了在预训练期间融入时间信息的方法，以进一步提高时间相关任务的性能。与利用共时文档集合（例如BookCorpus和Wikipedia）作为训练语料的常见预训练语言模型（如BERT）相比，我们使用长时间跨度的时序新闻文章集合来构建词表示。我们引入了BiTimeBERT，这是一种新颖的语言表示模型，通过两个新的预训练任务在时序新闻文章集合上进行训练，利用两个不同的时间信号来构建时间感知的语言表示。实验结果表明，BiTimeBERT在时间至关重要的不同下游NLP任务和应用中，始终优于BERT和其他现有预训练模型，并取得了显著提升（例如，在事件时间估计任务上，相比BERT的准确率提升高达155%）。
引用
@article{arxiv.2204.13032,
title = {BiTimeBERT: Extending Pre-Trained Language Representations with Bi-Temporal Information},
author = {Jiexin Wang and Adam Jatowt and Masatoshi Yoshikawa and Yi Cai},
journal= {arXiv preprint arXiv:2204.13032},
year = {2023}
}