MathViz-E：面向领域专业工具代理的案例研究
软件工程
2024-07-26 v1 人工智能
摘要
近期有大量研究旨在利用大语言模型（LLM）控制软件系统，通过多步推理、规划和工具使用。尽管已取得一些有前景的成果，但将其应用于特定领域仍面临若干一般性问题，包括如何控制专业领域工具、缺乏用于训练和评估的现有数据集，以及自动化系统评估与改进的复杂性。在本文中，我们进行了一次案例研究，考察这些问题在特定领域的情形。具体而言，我们提出了一个面向数学教学的自动数学可视化与求解系统。该系统编排数学求解器和数学绘图工具，能够从简单的数然语言命令中生成准确的可视化结果。我们描述了 specialized 数据集的创建过程，并开发了一个自动评估器，通过将系统输出与真实表达式进行比较来轻松评估系统结果。我们已开源该系统的数据集和代码。
引用
@article{arxiv.2407.17544,
title = {MathViz-E: A Case-study in Domain-Specialized Tool-Using Agents},
author = {Arya Bulusu and Brandon Man and Ashish Jagmohan and Aditya Vempaty and Jennifer Mari-Wyka and Deepak Akkil},
journal= {arXiv preprint arXiv:2407.17544},
year = {2024}
}