XMainframe：用于主frame现代化的大型语言模型
计算与语言
2024-08-27 v3 人工智能
摘要
尽管主机操作系统始于1940年代，仍继续支持金融和政府等关键领域。然而，这些系统常被视为过时，需大量维护和现代化。解决这一挑战需要创新工具来理解和与遗留代码库交互。为此，我们介绍XMainframe，这是一种专为主frame遗留系统和COBOL代码库而设计的前沿大型语言模型（LLM）。我们的解决方案涉及创建广泛的数据收集管道，以生产高质量的训练数据集，增强XMainframe在该专业领域的性能。此外，我们提出了MainframeBench，用于评估主frame知识的综合基准，包括多选题、问答和COBOL代码摘要。我们的实证评估表明，XMainframe在这些任务中始终优于现有的前沿LLM。具体而言，XMainframe在多选题上比DeepSeek-Coder准确率高出30%，在问答任务上BLEU分数是Mixtral-Instruct 8x7B的两倍，在COBOL摘要上得分是GPT-3.5的六倍。我们的工作凸显了XMainframe在管理和现代化遗留系统方面的潜力，旨在提高开发人员的生产力并节省开发时间。
引用
@article{arxiv.2408.04660,
title = {XMainframe: A Large Language Model for Mainframe Modernization},
author = {Anh T. V. Dau and Hieu Trung Dao and Anh Tuan Nguyen and Hieu Trung Tran and Phong X. Nguyen and Nghi D. Q. Bui},
journal= {arXiv preprint arXiv:2408.04660},
year = {2024}
}