充分利用有限上下文长度：预测能力随临床笔记类型与章节而异
计算与语言
2023-07-17 v1 信息检索
机器学习
摘要
大语言模型的最新进展重新激发了利用临床笔记自由文本进行医疗健康自然语言处理的研究兴趣。临床笔记的一个显著特征是其在多份长文档上的长时间跨度。临床笔记的独特结构带来了一个新的设计选择：当语言模型预测器的上下文长度受限时，我们应选择临床笔记的哪一部分作为输入？现有研究要么利用领域知识选择输入，要么简单地对其截断。我们提出了一个分析具有高预测能力章节的框架。使用 MIMIC-III，我们表明：1）护理笔记与出院笔记之间的预测能力分布不同；2）当上下文长度较大时，组合不同类型的笔记可提升性能。我们的发现表明，精心选择的采样函数能够实现从临床笔记中更高效的信息提取。
引用
@article{arxiv.2307.07051,
title = {Making the Most Out of the Limited Context Length: Predictive Power Varies with Clinical Note Type and Note Section},
author = {Hongyi Zheng and Yixin Zhu and Lavender Yao Jiang and Kyunghyun Cho and Eric Karl Oermann},
journal= {arXiv preprint arXiv:2307.07051},
year = {2023}
}
备注
Our code is publicly available on GitHub (https://github.com/nyuolab/EfficientTransformer)