一种用于响应选择中 BERT 的有效领域自适应后训练方法
计算与语言
2020-07-28 v2 机器学习
摘要
我们关注检索式对话系统中的多轮响应选择。本文中，我们利用强大的预训练语言模型 Transformer 双向编码器表示（BERT）构建多轮对话系统，并提出了一种在特定领域语料上极为有效的后训练方法。尽管 BERT 易于适配各类 NLP 任务并超越各任务先前的基线，但若任务语料过于聚焦于某一特定领域，它仍存在局限。在特定领域语料（如 Ubuntu Corpus）上进行后训练，有助于模型学习上下文表示以及通用语料（如英文维基百科）中未出现的词。实验结果表明，我们的方法在两个响应选择基准（即 Ubuntu Corpus V1、Advising Corpus）上取得了新的 SOTA，在 R@1 指标上分别提升 5.9% 和 6%。
引用
@article{arxiv.1908.04812,
title = {An Effective Domain Adaptive Post-Training Method for BERT in Response Selection},
author = {Taesun Whang and Dongyub Lee and Chanhee Lee and Kisu Yang and Dongsuk Oh and HeuiSeok Lim},
journal= {arXiv preprint arXiv:1908.04812},
year = {2020}
}
备注
INTERSPEECH 2020