Arabizi 与 LLM:语言模型能理解 Aladdin 的语言吗?
计算与语言
2025-04-18 v2
摘要
在这个技术快速进步的时代,随着新语言现象的出现,交流方式也在不断演变。其中之一便是 Arabizi,这是一种混合形式的阿拉伯语,使用拉丁字符和数字来代表阿拉伯社区的口语方言。Arabizi 在社交媒体上被广泛使用,允许人们以非正式和动态的方式进行交流,但由于其缺乏正式结构以及深植其中的文化细微差别,给机器翻译带来了重大挑战。本案例研究源于翻译 Arabizi 以提供要旨的日益增长的需求。它评估了不同 LLM 解码和翻译 Arabizi 的能力,重点关注迄今为止鲜有研究的多种阿拉伯方言。结合人工评估者和自动指标,本研究项目调查了模型将 Arabizi 翻译成现代标准阿拉伯语和英语的性能。探讨的关键问题包括哪些方言被翻译得最有效,以及翻译成英语是否优于翻译成阿拉伯语。
引用
@article{arxiv.2502.20973,
title = {Arabizi vs LLMs: Can the Genie Understand the Language of Aladdin?},
author = {Perla Al Almaoui and Pierrette Bouillon and Simon Hengchen},
journal= {arXiv preprint arXiv:2502.20973},
year = {2025}
}
备注
Accepted to MT Summit 2025 (Track: Implementation and Case Studies) https://mtsummit2025.unige.ch/