SandboxAQ在MRL 2024多语言多任务信息检索共享任务中的提交
计算与语言
2024-10-30 v1
摘要
本文探讨了在五种语言中进行问答（QA）和命名实体识别（NER）的问题。我们测试了五个大型语言模型（LLM），并采用了零样本、链式思考推理以及翻译技术等各种提示方法。我们的结果表明，尽管某些模型在不同任务和语言上始终表现优异，但其有效性在不同任务和语言之间存在显著差异。我们发现，高级提示技术通常会提高QA性能，但对NER效果不一；同时观察到语言难度模式在不同任务之间存在差异。我们的发现凸显了在多语言NLP中采用任务特定方法的必要性，并提示当前模型可能在不同任务中发展出不同的语言能力。
引用
@article{arxiv.2410.21501,
title = {SandboxAQ's submission to MRL 2024 Shared Task on Multi-lingual Multi-task Information Retrieval},
author = {Isidora Chara Tourni and Sayontan Ghosh and Brenda Miao and Constantijn van der Poel},
journal= {arXiv preprint arXiv:2410.21501},
year = {2024}
}
备注
MRL 2024 Shared Task on Multi-lingual Multi-task Information Retrieval; 4th Multilingual Representation Learning (MRL) Workshop; EMNLP 2024