重访指令微调模型评估以指导工业应用
机器学习
2023-12-19 v1 人工智能
计算与语言
摘要
指令微调（IFT）是一种强化大语言模型（LLMs）零样本能力的强大范式，但在此过程中产生了新的评估指标需求。我们表明基于 LLM 的指标很适应这些需求，并利用它们对任务专门化策略展开调研，量化在实际工业环境中出现的权衡。我们的发现为从业者提供了现实世界 IFT 模型部署的可操作见解。
引用
@article{arxiv.2310.14103,
title = {Revisiting Instruction Fine-tuned Model Evaluation to Guide Industrial Applications},
author = {Manuel Faysse and Gautier Viaud and Céline Hudelot and Pierre Colombo},
journal= {arXiv preprint arXiv:2310.14103},
year = {2023}
}
备注
Short paper accepted at EMNLP 2023