基于形态学的位置编码研究
计算与语言
2024-05-31 v2
摘要
当代深度学习模型能够有效处理具有多样形态学的语言，尽管形态学并未直接集成到这些模型中。形态学与词序密切相关，后者通过位置编码被整合到基于 Transformer 的模型中。这引发了一个基本问题：语言的形态学复杂性与预训练语言模型中位置编码的利用之间是否存在相关性？为了寻求答案，我们提出了首个针对该问题的研究，涵盖 22 种语言和 5 个下游任务。我们的研究结果表明，随着语言形态学复杂性的增加，位置编码的重要性逐渐降低。我们的研究激发了对位置编码进行更深入理解的需求，并促使其得到增强，以更好地反映所考虑的不同语言。
关键词
引用
@article{arxiv.2404.04530,
title = {A Morphology-Based Investigation of Positional Encodings},
author = {Poulami Ghosh and Shikhar Vashishth and Raj Dabre and Pushpak Bhattacharyya},
journal= {arXiv preprint arXiv:2404.04530},
year = {2024}
}
备注
Work in Progress