基于泛化模式的学习：面向小型语言模型的评估驱动数据增强方法
人工智能
2025-10-22 v1 机器学习
摘要
小型语言模型（SLMs）在部署成本和延迟方面具有显著优势，但在准确率上常落后于大型模型，尤其是针对复杂的特定领域任务。虽然监督式微调可以弥合这一性能差距，但需要大量的人工数据准备和反复优化。我们提出了PaDA-Agent（Pattern-guided Data Augmentation Agent），一种通过评估驱动的方式简化SLMs数据增强过程的 метод，通过协调操作实现。不同于专注于模型训练错误且仅生成纠错样本的前沿方法，PaDA-Agent通过评估发现验证数据中的失效模式，草拟针对性数据增强策略，直接缩小泛化差距。我们的实验结果表明，在Llama 3.2 1B Instruct模型微调方面，PaDA-Agent在数据增强方法上显著优于基于LLM的方法。
引用
@article{arxiv.2510.18143,
title = {Learning from Generalization Patterns: An Evaluation-Driven Approach to Enhanced Data Augmentation for Fine-Tuning Small Language Models},
author = {Huan Song and Deeksha Razdan and Yiyue Qian and Arijit Ghosh Chowdhury and Parth Patwa and Aman Chadha and Shinan Zhang and Sharlina Keshava and Hannah Marlowe},
journal= {arXiv preprint arXiv:2510.18143},
year = {2025}
}
备注
Neural Information Processing Systems (NeurIPS 2025) Workshop: Evaluating the Evolving LLM Lifecycle