利用时间一致性分析临床笔记的零样本时序关系抽取
计算与语言
2024-06-18 v1 机器学习
摘要
本文首次针对生物医学文本，在零样本设置下研究时序关系抽取。我们采用两种类型的提示和五个大语言模型（GPT-3.5、Mixtral、Llama 2、Gemma和PMC-LLaMA）来获取关于两个事件之间时序关系的响应。我们的实验表明，大语言模型在零样本设置下表现不佳，其F1分数低于经过微调的专业模型，这表明这对大语言模型来说是一项具有挑战性的任务。我们进一步通过计算每个大语言模型的一致性分数，贡献了一种新颖的全面时间分析。我们的研究结果揭示，大语言模型在提供与唯一性和传递性时间属性一致的响应方面面临挑战。此外，我们研究了大语言模型的时间一致性与其准确性之间的关系，以及是否可以通过解决时间不一致性来提高准确性。我们的分析表明，即使实现了时间一致性，预测结果仍可能不准确。
引用
@article{arxiv.2406.11486,
title = {Analysing zero-shot temporal relation extraction on clinical notes using temporal consistency},
author = {Vasiliki Kougia and Anastasiia Sedova and Andreas Stephan and Klim Zaporojets and Benjamin Roth},
journal= {arXiv preprint arXiv:2406.11486},
year = {2024}
}