从叙事到数字：使用语言模型预测进行有效推断——基于 Verbal Autopsy 叙事的推断
计算与语言
2024-04-04 v1 机器学习
机器学习
摘要
在大多数死亡发生于医疗系统之外的场景中，口述病亡者访谈（VAs）是监测死亡原因（COD）趋势的常用工具。VAs 是对死者亲属或照护者进行访谈，用于预测死者的 COD。将 VAs 转化为研究者与政策制定者所需的可操作见解需要两个步骤：① 使用 VA 访谈预测可能的 COD，② 对预测的 COD 进行推断（例如，依据死亡样本对原因进行人口统计学因素划分）。本文发展了一种方法，针对由自由形式文本预测的结局（本例为 COD）进行有效推断。我们称之为 multiPPI++，其扩展了近期在“预测驱动推断”中的工作，适用于多类别分类。我们利用一套 NLP 技术进行 COD 预测，并通过对 VA 数据的实证分析，展示该方法在处理可迁移性问题方面的有效性。multiPPI++ 能恢复基准估计，无论使用何种 NLP 模型生成预测，无论是像 GPT-4-32k 这类更精确的预测器，还是像 KNN 这类较不精确的预测器。我们的发现表明，对公共卫生决策的推断纠正具有实际重要性，并暗示若推断是最终目标，则无论使用何种 NLP 算法，都需要少量具有上下文相关性和高质量标记数据。
引用
@article{arxiv.2404.02438,
title = {From Narratives to Numbers: Valid Inference Using Language Model Predictions from Verbal Autopsy Narratives},
author = {Shuxian Fan and Adam Visokay and Kentaro Hoffman and Stephen Salerno and Li Liu and Jeffrey T. Leek and Tyler H. McCormick},
journal= {arXiv preprint arXiv:2404.02438},
year = {2024}
}
备注
12 pages, 7 figures