CBLUE：一个中文生物医学语言理解评测基准
计算与语言
2022-11-02 v6 人工智能
信息检索
机器学习
摘要
人工智能（AI）连同近期在生物医学语言理解方面的进展，正在逐渐改变医疗实践。随着生物医学语言理解基准的发展，AI 应用被广泛用于医疗领域。然而，大多数基准仅限于英语，这使得将许多英语中的成功在其他语言中复现具有挑战性。为促进该方向的研究，我们收集真实世界生物医学数据并提出了首个中文生物医学语言理解评测（CBLUE）基准：一套自然语言理解任务集合，包括命名实体识别、信息抽取、临床诊断归一化、单句/句对分类，以及一个用于模型评测、比较和分析的关联在线平台。为建立这些任务的评测，我们报告了当前 11 个中文预训练模型的实证结果，实验结果表明最先进的神经模型表现远逊于人类上限。我们的基准发布于 \url{https://tianchi.aliyun.com/dataset/dataDetail?dataId=95414&lang=en-us}。
引用
@article{arxiv.2106.08087,
title = {CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark},
author = {Ningyu Zhang and Mosha Chen and Zhen Bi and Xiaozhuan Liang and Lei Li and Xin Shang and Kangping Yin and Chuanqi Tan and Jian Xu and Fei Huang and Luo Si and Yuan Ni and Guotong Xie and Zhifang Sui and Baobao Chang and Hui Zong and Zheng Yuan and Linfeng Li and Jun Yan and Hongying Zan and Kunli Zhang and Buzhou Tang and Qingcai Chen},
journal= {arXiv preprint arXiv:2106.08087},
year = {2022}
}
备注
Accepted by ACL 2022