面向零样本问题的领域相邻微调模型集合实用性研究
计算与语言
2025-07-08 v2 机器学习
摘要
大语言模型（LLM）在针对特定领域数据进行微调后，被观察到在广泛的下游任务上表现良好。然而，这些数据在许多应用中可能难以获取，动力来源是零样本或少量样本方法，使用领域相邻模型。虽然有多种针对各种任务的微调模型可用，但为给定任务找到合适的领域相邻模型往往并不直观。本文研究了 DAFT-E，即用于少量样本问题的领域相邻微调基础模型集合框架。我们展示，对于零样本问题，该集合方法在准确度性能上接近于单一最佳模型的性能。随着少量样本问题的引入，这一性能进一步提升，此时 DEFT-E 可以超过任何单个领域相邻模型，同时只需为领域特定微调提供更少的数据。
引用
@article{arxiv.2406.13720,
title = {On the Utility of Domain-Adjacent Fine-Tuned Model Ensembles for Few-shot Problems},
author = {Md Ibrahim Ibne Alam and Parikshit Ram and Soham Dan and Horst Samulowitz and Koushik Kar},
journal= {arXiv preprint arXiv:2406.13720},
year = {2025}
}
备注
Main paper is 14 pages, followed by references and appendix