评估非标准化语言上的像素语言模型

我们探索了基于像素的模型从标准语言向方言进行迁移学习的潜力。这些模型将文本转换为图像，并划分为多个 patch，从而实现连续词汇表示，该表示在处理方言数据中常见的 out-of-vocabulary 词汇方面尤为有用。以德语为案例研究，我们比较了像素模型与基于 token 的模型在各种语法和语义任务上的性能。我们的结果表明，在零样本方言评估中，像素模型在词性标注、依存句法分析和意图检测等任务中均优于基于 token 的模型，部分情景下的提升幅度可达高达 26 个百分点，尽管在标准德语方面表现不佳。然而，像素模型在主题分类任务中仍显不足。这些发现凸显了像素模型在处理方言数据方面的潜力，尽管需进一步研究其在 various linguistic contexts 中的实际效果。