ELMo 与 BERT 在俄语语义变化检测中的应用
计算与语言
2020-10-08 v1
摘要
我们研究了上下文嵌入（contextualized embeddings）在俄语数据历时语义变化检测任务中的有效性。评测测试集由基于其在前苏联、苏联和后苏联时期文本中的出现情况标注的俄语名词和形容词组成。我们在根据语义随时间变化程度对俄语词进行排序的任务上比较了 ELMo 和 BERT 架构。我们使用多种方法从这些架构中聚合上下文嵌入并评估其性能。最后，我们比较了该任务中的无监督与有监督技术。
引用
@article{arxiv.2010.03481,
title = {ELMo and BERT in semantic change detection for Russian},
author = {Julia Rodina and Yuliya Trofimova and Andrey Kutuzov and Ekaterina Artemova},
journal= {arXiv preprint arXiv:2010.03481},
year = {2020}
}
备注
The 9th International Conference on Analysis of Images, Social Networks and Texts (AIST 2020)