Qwen2.5-32B: 利用自一致工具集成推理解决孟加拉数学奥林匹克问题
人工智能
2024-11-12 v1
摘要
我们提出了一种用于解决孟加拉语数学问题的创新方法，为 DL Sprint 3.0 BUET CSE Fest 2024 竞赛而开发。我们的方法使用先进的深度学习模型，特别是 Qwen 2.5 系列，通过提示工程、模型量化和工具集成推理（TIR）来处理复杂计算。最初，我们探索了多种模型架构，包括微调的 Mistral 和量化的 Qwen 模型，并通过翻译技术、检索增强生成（RAG）和自定义数据集构建对其进行优化。手动超参数调优优化了温度与 top-p 等参数以增强模型的适应性和准确性。移除 RAG 与参数调整进一步提升了鲁棒性。我们的方法展示了先进自然语言处理技术在解决孟加拉数学问题方面的潜力。
引用
@article{arxiv.2411.05934,
title = {Qwen2.5-32B: Leveraging Self-Consistent Tool-Integrated Reasoning for Bengali Mathematical Olympiad Problem Solving},
author = {Saad Tahmid and Sourav Sarker},
journal= {arXiv preprint arXiv:2411.05934},
year = {2024}
}