使用深度混合专家模型检测 TempoWiC 中的词义偏移
计算与语言
2022-11-08 v1
摘要
本文主要描述了 dma 提交给 TempoWiC 任务的方案，该方案取得了 77.05% 的宏 F1 分数，并在该任务中获得第一名。我们首先探究了不同预训练语言模型的影响。随后我们采用数据清洗、数据增强和对抗训练策略来增强模型的泛化能力和鲁棒性。为了进一步提升性能，我们使用混合专家（MoE）方法整合了词性（POS）信息与词语义表示。实验结果表明，MoE 能够克服特征过度使用问题，并很好地结合上下文、词性与词语义特征。此外，我们采用模型集成方法进行最终预测，该方法已被许多研究工作证明有效。
引用
@article{arxiv.2211.03466,
title = {Using Deep Mixture-of-Experts to Detect Word Meaning Shift for TempoWiC},
author = {Ze Chen and Kangxu Wang and Zijian Cai and Jiewen Zheng and Jiarong He and Max Gao and Jason Zhang},
journal= {arXiv preprint arXiv:2211.03466},
year = {2022}
}