词拆分对上下文词表示语义内容的影响
计算与语言
2024-02-23 v1
摘要
从语言模型中导出上下文词表示时，需要决定如何为被分割为子词的词表外 (OOV) 词获取表示。用单个向量表示这些词的最佳方式是什么，并且这些表示的质量是否比词表内词更差？我们在涉及 OOV 词的语义相似度任务上对不同模型的嵌入进行了内在评估。我们的分析揭示了，除其他有趣的发现外，被拆分词的表示质量通常（但并非总是）劣于已知词的嵌入。然而，它们的相似度值必须谨慎解读。
引用
@article{arxiv.2402.14616,
title = {The Impact of Word Splitting on the Semantic Content of Contextualized Word Representations},
author = {Aina Garí Soler and Matthieu Labeau and Chloé Clavel},
journal= {arXiv preprint arXiv:2402.14616},
year = {2024}
}
备注
Accepted to TACL