JiuZhang 2.0：面向多任务数学问题求解的统一中文预训练语言模型
计算与语言
2023-06-21 v1 人工智能
摘要
尽管预训练语言模型（PLMs）近期推进了数学推理的研究进展，但它们并非专门设计为具备能力的多任务求解器，面临多任务部署成本高（如每任务一份模型拷贝）及实际应用中复杂数学问题性能不佳的困境。为解决这些问题，本文提出 JiuZhang 2.0，一个专用于多任务数学问题求解的统一中文 PLM。我们的思路是维持中等规模模型，并采用跨任务知识共享以提升多任务设定下的模型能力。具体地，我们构建混合专家（MoE）架构以建模数学文本，从而捕捉跨任务的公共数学知识。为优化 MoE 架构，我们设计了多任务持续预训练与多任务微调策略以实现多任务适配。这些训练策略可有效分解任务数据中的知识，并经由专家网络建立跨任务共享。为进一步提升求解不同复杂任务的通用能力，我们利用大语言模型（LLMs）作为补充模型，通过上下文学习迭代精炼由我们的 PLM 生成的求解过程。大量实验证明了我们模型的有效性。
引用
@article{arxiv.2306.11027,
title = {JiuZhang 2.0: A Unified Chinese Pre-trained Language Model for Multi-task Mathematical Problem Solving},
author = {Wayne Xin Zhao and Kun Zhou and Beichen Zhang and Zheng Gong and Zhipeng Chen and Yuanhang Zhou and Ji-Rong Wen and Jing Sha and Shijin Wang and Cong Liu and Guoping Hu},
journal= {arXiv preprint arXiv:2306.11027},
year = {2023}
}
备注
Accepted by KDD 2023 ADS track, the 2.0 version of JiuZhang (arxiv:2206.06315v1)