印度语言长上下文非事实性问答
计算与语言
2025-06-16 v2
摘要
问答（QA）任务涉及从给定上下文中提取答案，对于现代大型语言模型（LLM），当上下文较短时，这类任务相对 straightforward。然而，长上下文因自注意力机制的二次复杂度而提出挑战，这一挑战在印度语言（常为低资源语言）中更为突出。本研究探讨了包括开放信息抽取（OIE）、指代消解、答案段落选择（APS）及其组合等上下文缩短技术，以提高 QA 性能。相较于未缩短（长）上下文的基线，我们在四种印度语言（印地语、泰米尔语、泰卢固语和乌尔都语）上的实验表明，上下文缩短技术在没有微调的情况下，在语义分数上平均提升 4%，在 token 级别分数上提升 47%。此外，在微调后，我们在语义和 token 级别分数上平均提升 2%。此外，上下文缩短还减少了计算开销。解释技术如 LIME 和 SHAP 揭示， 当 APS 模型自信地识别包含答案的段落时，几乎所有被选中文本的 token 都获得高相关性得分。然而，研究也强调了 LLM-based QA 系统在解决需要推理或辩论的非事实性问题方面的局限性。此外， verbalizing OIE 生成的三元组并不提升系统性能。这些发现凸显了上下文缩短技术在提高 LLM-based QA 系统效率和效果方面的潜力，尤其是针对低资源语言。代码和资源已公开 https://github.com/ritwikmishra/IndicGenQA。
引用
@article{arxiv.2504.13615,
title = {Long-context Non-factoid Question Answering in Indic Languages},
author = {Ritwik Mishra and Rajiv Ratn Shah and Ponnurangam Kumaraguru},
journal= {arXiv preprint arXiv:2504.13615},
year = {2025}
}
备注
Short version of this manuscript accepted at https://bda2025.iiitb.net/