小巨人：在Eval4NLP 2023共享任务中探索小型LLM作为摘要评估指标的潜力
计算与语言
2023-11-02 v1
摘要
本文描述并分析了我们参与2023年Eval4NLP共享任务的情况，该任务聚焦于评估基于提示的技术在赋能大语言模型处理质量估计任务方面的有效性，特别是在机器翻译和摘要评估的背景下。我们使用多种提示技术进行了系统性实验，包括标准提示、由标注者指令提供信息的提示以及创新的思维链提示。此外，我们将这些方法与零样本和单样本学习方法相结合，以最大化评估流程的效果。我们的工作表明，使用“小型”开源模型（orca_mini_v3_7B）组合这些方法可取得具有竞争力的结果。
引用
@article{arxiv.2311.00686,
title = {Little Giants: Exploring the Potential of Small LLMs as Evaluation Metrics in Summarization in the Eval4NLP 2023 Shared Task},
author = {Neema Kotonya and Saran Krishnasamy and Joel Tetreault and Alejandro Jaimes},
journal= {arXiv preprint arXiv:2311.00686},
year = {2023}
}
备注
Eval4NLP 2023 Shared Task