CORAL：用于推进语言模型推理的专家标注肿瘤学医疗报告

肿瘤学的医疗护理与观察性研究均需要对患者的疾病进展与治疗史有透彻理解，这些信息常详尽记录于临床笔记中。尽管至关重要，当前尚无任何肿瘤学信息表示与标注模式能完整涵盖这些笔记中所记录信息的多样性。尽管大语言模型（LLM）近期在各种医学自然语言处理任务上展现出令人印象深刻的性能，但由于目前缺乏全面标注的肿瘤学数据集，对 LLM 在提取并推理肿瘤学笔记中复杂表述方面的广泛评估仍研究不足。我们开发了一套详尽的文本肿瘤学信息标注模式，涵盖患者特征、肿瘤特征、检查、治疗及时间性。利用加州大学旧金山分校的 40 份去标识化乳腺癌与胰腺癌进展笔记语料，我们应用该模式评估了三个近期 LLM（GPT-4、GPT-3.5-turbo 与 FLAN-UL2）从临床进展笔记的两个叙述性章节中提取详细肿瘤学病史的零样本能力。我们的团队标注了 9028 个实体、9986 个修饰符与 5312 个关系。GPT-4 模型表现出总体最佳性能，平均 BLEU 得分为 0.73，平均 ROUGE 得分为 0.72，精确匹配 F1 得分为 0.51，在复杂任务上平均准确率为 68%（专家在子集上的手动评估）。值得注意的是，它在肿瘤特征与药物提取方面表现熟练，并在不良事件检测等关系推理中展现出优越性能。然而，在将其用于可靠提取临床研究、复杂人群管理以及记录优质患者护理所需的癌症进展笔记中的重要事实之前，仍需进一步改进。