抵押贷款语言模型：基于残差指令、对齐调优与任务特定路由的领域自适应预训练
计算与语言
2025-12-10 v2 机器学习
摘要
大型语言模型（LLM）在通用领域展现出卓越的能力，但将其应用于抵押贷款金融等专业领域需要在增强领域知识的同时保持指令遵循性能。我们提出了 MortgageLLM，这是一个针对抵押贷款金融领域的新型领域特定大型语言模型，以解决这一双重挑战。该模型基于单一基础模型（LLaMA-3.1-8B）构建，采用双轨专业化框架开发。我们选择双专家方法是因为单一多任务模型会出现性能权衡，即通过监督微调（SFT）优化结构化任务会损害对话忠诚度（通过DPO）。我们的双轨方法通过创建两个专家来解决此问题，使每个专家针对其不同能力进行最佳训练。我们的方法应用指令残差技术，在不进行监督微调的情况下恢复指令遵循能力。我们贡献了：（1）将该残差技术应用于高度专业化的抵押贷款金融领域；（2）结合对话问答模型和用于分类和摘要的结构化任务模型的双专家架构；（3）使用由专家模型之一本身执行的few-shot分类的智能任务路由机制。在领域特定基准测试中，我们的最终模型（MLM v2）显著优于基础LLaMA-3.1-8B-Instruct，实现了4.58（相对于3.99）的LLM-as-a-Judge摘要得分、4.09（相对于4.0）的问答得分，以及2.6（相对于1.2）的分类得分。在语义相似性方面，本模型在摘要（相对于0.74）获得了0.77的BERTScore，在问答（相对于0.58）获得了0.68，在分类（相对于0.73）获得了0.75，显著优于基线方法。
引用
@article{arxiv.2511.21101,
title = {Mortgage Language Model: Domain-Adaptive Pretraining with Residual Instruction, Alignment Tuning, and Task-Specific Routing},
author = {Manish Jain and Satheesh Kumar Ponnambalam and Salman Faroz and Chandrakanth Lns and Vinay Sharma},
journal= {arXiv preprint arXiv:2511.21101},
year = {2025}
}