CGRA-DeBERTa概念引导残差增强变换器用于神学斋浦理解

准确地在古典伊斯兰文本上进行问答仍然具有挑战性，原因在于特定领域的语义、长范围上下文依赖以及概念敏感推理。因此，本文提出了一种新的CGRA DeBERTa模型，即概念引导残差域增强变换器框架，用于增强对古哈迪特语料库的神学问答。CGRA DeBERTa基于定制化的DeBERTa变换器主干架构，采用轻量级LoRA式适配器和残差概念感知门控机制。定制化的DeBERTa嵌入块学习全局和位置上下文，而概念引导残差模块则整合来自精选伊斯兰概念词典中12个核心术语的神学先验。此外，概念门控机制通过重要性加权注意力选择性放大语义关键标记，应用差异化缩放，从1.04到3.00。该设计保持上下文的完整性，强化了领域特定的语义表示，使其能够在保持计算效率的同时实现准确、高效的span提取。本文报告了使用专为Sahih alBukhari和Sahih Muslim文本构建的42591对QA对训练CGRA的结果。虽然BERT的准确率为75.87，DeBERTa为89.77，但我们的模型达到了97.85，绝对提升了8.08，同时仅增加了约8的推理开销。定性评估指出，我们的模型在提取和辨识方面表现更好，神学精确性更强。该研究提供了高效、可解释且准确的Hadith问答系统，能够规模化地提供具有必要神学细微差别的教育材料。