DSMentor：基于课程学习和在线知识积累强化数据科学代理
人工智能
2025-05-21 v1
摘要
大型语言模型（LLM）代理在生成解决复杂数据科学问题的代码方面显示出良好的性能。近期研究主要致力于通过改进搜索、抽样和规划技术来增强情境学习，忽视了在推理过程中以何种顺序解决问题的重要性。本文开发了一种新型推理时优化框架，称为 DSMentor，利用课程学习——即先引入较简单的问题，然后随着学习者进步逐步过渡到更复杂的问题——来增强 LLM 代理在挑战性数据科学任务中的表现。我们的导师引导框架按难度递增组织数据科学任务，并融入日益增长的长期记忆，以保留先前经验，指导代理的学习进展，使其能够更有效地利用积累的知识。我们在 DSEval 和 QRData基准上进行了广泛实验。实验表明，使用 Claude-3.5-Sonnet 的 DSMentor 在 DSEval 和 QRData 上通过率提升最高可达 5.2%。此外，DSMentor 在因果推理能力方面表现更佳，在使用 Program-of-Thoughts 提示词的 GPT-4 上处理因果问题时通过率提升 8.8%。我们的工作强调，在推理过程中积累和利用知识的有效策略的重要性，这类似于人类的学习过程，为通过基于课程的推理优化提升 LLM 性能开辟了新方向。
引用
@article{arxiv.2505.14163,
title = {DSMentor: Enhancing Data Science Agents with Curriculum Learning and Online Knowledge Accumulation},
author = {He Wang and Alexander Hanbo Li and Yiqun Hu and Sheng Zhang and Hideo Kobayashi and Jiani Zhang and Henry Zhu and Chung-Wei Hang and Patrick Ng},
journal= {arXiv preprint arXiv:2505.14163},
year = {2025}
}