AmaSQuAD：一个阿姆哈拉语抽取式问答基准
计算与语言
2025-02-05 v1
摘要
本研究提出了一个将抽取式问答数据集翻译为低资源语言的新框架，并通过创建AmaSQuAD数据集（SQuAD 2.0的阿姆哈拉语翻译版本）进行了演示。该方法解决了翻译后的问题与答案之间不对齐，以及翻译后上下文中存在多个答案实例的相关挑战。为此，我们使用了基于为阿姆哈拉语微调的BERT模型和最长公共子序列（LCS）的嵌入的余弦相似度。此外，我们在AmaSQuAD合成数据集上微调了XLM-R模型，用于阿姆哈拉语问答。结果显示基线性能有所提升，微调后的模型在AmaSQuAD开发数据集上的F1分数从36.55%提高到44.41%，从50.01%提高到57.5%。此外，该模型在人工整理的AmQA数据集上表现出改进，F1分数从67.80%提高到68.80%，精确匹配分数从52.50%提高到52.66%。AmaSQuAD数据集已公开可用。
引用
@article{arxiv.2502.02047,
title = {AmaSQuAD: A Benchmark for Amharic Extractive Question Answering},
author = {Nebiyou Daniel Hailemariam and Blessed Guda and Tsegazeab Tefferi},
journal= {arXiv preprint arXiv:2502.02047},
year = {2025}
}