局部测量跨语言词汇对齐: 面向领域与词汇的视角
计算与语言
2024-10-11 v1
摘要
NLP 研究在将词汇表示空间对齐到彼此方面，以至于关注整个语言空间的对齐。然而，认知科学长期关注局部视角，探讨翻译等价项是否真正共享相同的含义，或文化和区域影响导致含义差异。随着近期技术进步和可用数据的增加，跨语言词汇对齐的长期问题现在可以以更数据驱动的方式加以探讨。然而，developing metrics for the task requires some methodology for comparing metric efficacy. 我们解决了这一空白，提出了一种用于分析合成验证和 novel naturalistic validation（基于亲属领域中的词汇差距）的方法。我们进一步提出了基于情境化嵌入的新型指标，这些指标在此任务上尚未被探索。我们的分析覆盖 16 种多样化语言，表明使用更新的语言模型还有大大的提升空间。我们的研究为更准确和细致的跨语言词汇对齐方法和评估奠定了基础。
引用
@article{arxiv.2410.07239,
title = {Locally Measuring Cross-lingual Lexical Alignment: A Domain and Word Level Perspective},
author = {Taelin Karidi and Eitan Grossman and Omri Abend},
journal= {arXiv preprint arXiv:2410.07239},
year = {2024}
}