ArthModel：增强大语言模型的算术能力
计算与语言
2023-12-01 v1
摘要
随着 ChatGPT 的巨大成功，大语言模型的研究变得日益流行。然而，这些模型存在若干局限性，例如毒性和算术求解性能差。同时，LLM 可能具有一些尚未被开发的潜在能力。在本文中，我们选择了一种不同的方式来增强 LLM 的算术能力。我们提出训练 LLM 生成与算术问题相关的后缀表达式，并将其与小型预训练模型结合。此外，该小型模型将词元嵌入转换为真实的稠密数值，并调用深度学习平台的原生函数以得到正确答案。为生成最终结果，我们提出提示注入，用于将小型模型的结果输出添加到 LLM。本工作提供了训练和使用语言模型的不同思路、训练与使用方法。代码和模型将在 \url{https://github.com/eteced/arithmetic_finetuning_v1} 发布。
引用
@article{arxiv.2311.18609,
title = {ArthModel: Enhance Arithmetic Skills to Large Language Model},
author = {Yingdi Guo},
journal= {arXiv preprint arXiv:2311.18609},
year = {2023}
}
备注
7 pages, 4 figures, 1 table