OCHADAI-KYOTO 在 SemEval-2021 任务 1：增强词汇复杂度预测的模型泛化与鲁棒性
计算与语言
2021-06-16 v3
摘要
我们提出一种用于预测单词与多词表达式（MWEs）词汇复杂度的集成模型。该模型以含目标词或 MWE 的句子为输入，输出其复杂度分数。鉴于该任务的关键挑战在于标注数据规模有限，我们的模型依赖于来自不同最先进基于 transformer 的语言模型（即 BERT 与 RoBERTa）的预训练上下文表示，并采用多种训练方法以进一步增强模型泛化与鲁棒性：多步微调与多任务学习，以及对抗训练。此外，我们提出在训练期间通过加入手工特征来丰富上下文表示。我们的模型取得了有竞争力的结果，并在两个子任务中均位列前 10 系统。
引用
@article{arxiv.2105.05535,
title = {OCHADAI-KYOTO at SemEval-2021 Task 1: Enhancing Model Generalization and Robustness for Lexical Complexity Prediction},
author = {Yuki Taya and Lis Kanashiro Pereira and Fei Cheng and Ichiro Kobayashi},
journal= {arXiv preprint arXiv:2105.05535},
year = {2021}
}