探索将大语言模型提示作为可解释指标
计算与语言
2023-11-21 v1 人工智能
机器学习
摘要
本文描述了IUST NLP实验室在Eval4NLP 2023研讨会（NLP系统评估与比较）的“将大语言模型提示作为可解释指标”共享任务上的提交。我们提出了一种基于零样本提示的策略，利用大语言模型（LLM）对摘要任务进行可解释评估。所开展的实验展示了LLM作为自然语言处理（NLP）评估指标（尤其在摘要领域）的 promising 潜力。实验中采用了少样本与零样本两种方法。我们最优提示在测试数据的文本摘要任务上与人评的Kendall相关系数达到0.477。代码与结果已在GitHub公开。
引用
@article{arxiv.2311.11552,
title = {Exploring Prompting Large Language Models as Explainable Metrics},
author = {Ghazaleh Mahmoudi},
journal= {arXiv preprint arXiv:2311.11552},
year = {2023}
}
备注
9 pages, Eval4NLP 2023