跨方言句子转换：语言模型将句子适配为英式英语的比较分析
计算与语言
2023-11-15 v1 人工智能
摘要
本研究探讨了美式、印度和爱尔兰英语方言之间的语言差异，并评估了各类语言模型（LLMs）从这些方言生成英式英语译文的能力。通过余弦相似度分析，研究衡量了原始英式英语译文与 LLMs 为各方言生成的译文之间的语言接近度。结果显示，印度和爱尔兰英语译文保持显著高的相似度得分，表明其与英式英语有较强的语言对齐；相比之下，美式英语表现出略低的相似度，反映其独特的语言特征。此外，LLM 的选择显著影响翻译质量，其中 Llama-2-70b 始终表现出最优性能。研究强调了为方言翻译选择正确模型的重要性，凸显语言专业知识和语境理解在实现准确翻译中的作用。
引用
@article{arxiv.2311.07583,
title = {Cross-Dialect Sentence Transformation: A Comparative Analysis of Language Models for Adapting Sentences to British English},
author = {Shruti Dutta and Shashwat Mookherjee},
journal= {arXiv preprint arXiv:2311.07583},
year = {2023}
}
备注
6 pages, 5 tables