CHIP2023 中 PromptCBLUE 共享任务概述
计算与语言
2024-01-01 v1
摘要
本文介绍了在 CHIP-2023 会议上举办的 PromptCBLUE 共享任务（http://cips-chip.org.cn/2023/eval1）的概述。该共享任务重新构建了 CBLUE 基准，为通用医疗自然语言处理中的中文开放域或医疗领域大语言模型（LLMs）提供了良好的测试平台。设有两个不同的赛道：(a) 提示微调赛道，研究 LLMs 的多任务提示微调；(b) 探测开源 LLMs 的上下文学习能力。来自业界和学术界的众多团队参与了该共享任务，顶尖团队取得了惊人的测试结果。本文描述了两个任务的任务设置、数据集、评估指标及顶尖系统。最后，本文总结了参赛团队探索的各种方法的评估技术与结果。
引用
@article{arxiv.2312.17522,
title = {Overview of the PromptCBLUE Shared Task in CHIP2023},
author = {Wei Zhu and Xiaoling Wang and Mosha Chen and Buzhou Tang},
journal= {arXiv preprint arXiv:2312.17522},
year = {2024}
}