Quantum-RAG 与 PunGPT2：面向巴基亚亚历gebra 语言生成与检索的低资源突破
计算与语言
2025-10-06 v2 人工智能
摘要
尽管大语言模型（LLM）取得了快速进展，低资源语言仍被排除在 NLP 之外，这限制了数百万人的 digital 访问。我们提出 PunGPT2，首个完全开源的巴基亚亚历gebra 生成模型套件，基于 35GB 语料训练，涵盖文学、宗教文本、新闻、社交话语等。PunGPT2 通过针对 Gurmukhi 与 Shahmukhi 脚本优化的分词器，捕捉巴基亚亚历gebra 的句法与形态丰富性。我们引入 Pun-RAG，一个将 PunGPT2 与 FAISS 检索器集成的检索增强框架，以及 Pun-Instruct，一个使用 QLoRA 的指令调优变体，支持零样本摘要、翻译和问答。我们的核心创新 Quantum-RAG 融合稀疏、稠密与量子核嵌入，实现高效、上下文感知的检索，内存开销低，这是低资源 LLM 中首个实际的量子启发式检索。我们的模型在 FLORES-200、IndicGenBench 和新建的 PunjabiEval 测试集上超越多语言基线（mBERT、mT5、MuRIL、BLOOM）。Quantum-RAG 在 PunjabiEval 上 Recall@10 提升 7.4，BLEU 提升 3.5。我们公开所有训练脚本、超参数、评估管道、35GB 巴基亚亚历gebra 语料、PunjabiEval 测试集以及所有模型权重，树立了巴基亚亚历gebra 语言生成与检索的新纪录。
关键词
引用
@article{arxiv.2508.01918,
title = {Quantum-RAG and PunGPT2: Advancing Low-Resource Language Generation and Retrieval for the Punjabi Language},
author = {Jaskaranjeet Singh and Rakesh Thakur},
journal= {arXiv preprint arXiv:2508.01918},
year = {2025}
}