使用低秩方言适配器预测游戏对话目标词的解码器模型
计算与语言
2025-02-03 v2 人工智能
摘要
针对编码器模型，已有研究报道了方言适配器能提升大型语言模型（LLM）在特定社会方言/方言/国家变体（为简洁起见，统称“方言”）上的自然语言理解（NLU）任务性能。在本文中，我们将方言适配器的思想扩展到解码器模型，并提出了名为 LoRDD 的架构。我们使用 MD-3（一个公开可用的方言使用者之间文字游戏对话数据集），任务是从掩码对话中进行目标词预测（TWP）。LoRDD 结合了任务适配器和方言适配器，其中后者利用 MD-3 中的伪平行对话进行对比学习。我们在印度英语和尼日利亚英语对话上使用两种模型（Mistral 和 Gemma）进行的实验表明，LoRDD 在 TWP 任务上优于四种基线方法。此外，它显著缩小了与美式英语的性能差距，在词语相似度上分别将差距缩小至 12% 和 5.8%，在准确率上分别缩小至 25% 和 4.5%。LoRDD 的核心贡献在于其利用 TWP（一种常用的下一词预测任务的简化版本）进行解码器模型方言适配的前景。
引用
@article{arxiv.2409.00358,
title = {Predicting the Target Word of Game-playing Conversations using a Low-Rank Dialect Adapter for Decoder Models},
author = {Dipankar Srirag and Aditya Joshi and Jacob Eisenstein},
journal= {arXiv preprint arXiv:2409.00358},
year = {2025}
}
备注
Accepted to NAACL 2025