NeMo-Inspector：面向大语言模型生成分析的可视化工具
机器学习
2025-05-05 v1 计算与语言
摘要
将大语言模型（LLMs）适配到新任务并增强其整体能力，通常需要大规模、高质量的训练数据集。当真实世界数据稀缺或难以获取时，大规模生成的合成数据是一种有价值的替代方案。然而，确保合成数据集的质量颇具挑战，因为开发者必须手动检查并优化大量样本，以识别错误和改进空间。这一过程耗时且需要专用工具。我们推出了 NeMo-Inspector，这是一款开源工具，旨在通过集成的推理功能简化合成数据集的分析。我们通过两个真实案例展示了其有效性。使用 NeMo-Inspector 对合成生成的 GSM-Plus 数据集进行分析和清洗，使得低质量样本比例从 46.99% 显著下降至 19.51%。该工具还帮助识别并纠正了 OpenMath 模型中的生成错误，使得在 Nemotron-4-340B 生成的合成数据上微调的 Meta-Llama-3-8B 模型，在 MATH 数据集上的准确率提高了 1.92%，在 GSM8K 数据集上提高了 4.17%。
引用
@article{arxiv.2505.00903,
title = {NeMo-Inspector: A Visualization Tool for LLM Generation Analysis},
author = {Daria Gitman and Igor Gitman and Evelina Bakhturina},
journal= {arXiv preprint arXiv:2505.00903},
year = {2025}
}
备注
Presented at the NAACL 2025 conference