ThisIsCompetition 在 SemEval-2019 任务 9 上的工作：BERT 对域外样本不稳定
计算与语言
2019-04-09 v1
摘要
本文描述我们的系统——用于稳定建议推断的联合编码器（Joint Encoders for Stable Suggestion Inference, JESSI），参与 SemEval 2019 任务 9：从在线评论与论坛中挖掘建议。JESSI 是两个句子编码器的组合：(a) 一个使用从对数双线性回归（GloVe）与翻译（CoVe）模型学到的多种预训练词嵌入，以及 (b) 一个基于预训练深度双向 transformer（BERT）的词编码之上。我们在训练域外样本时加入一个域对抗训练模块。实验表明，尽管 BERT 对域内样本表现极好，该模型的若干次运行显示其对域外样本不稳定。该问题通过 (1) 将 BERT 与非 BERT 编码器结合，以及 (2) 在 BERT 之上使用基于 RNN 的分类器而大幅缓解。我们的最终模型在子任务 A（即域内）以 77.78\% F-Score 获得第二名，并在子任务 B（即域外）取得 79.59\% 的 F-Score，即便未使用任何额外外部数据。
引用
@article{arxiv.1904.03339,
title = {ThisIsCompetition at SemEval-2019 Task 9: BERT is unstable for out-of-domain samples},
author = {Cheoneum Park and Juae Kim and Hyeon-gu Lee and Reinald Kim Amplayo and Harksoo Kim and Jungyun Seo and Changki Lee},
journal= {arXiv preprint arXiv:1904.03339},
year = {2019}
}
备注
SemEval 2019 Task 9