使用微调大语言模型进行反事实建模：健康干预设计与传感器数据增强
机器学习
2026-04-21 v2
摘要
反事实解释（CFEs）通过识别改变机器学习模型预测所需的最小可操作性变更，提供以人类为中心的可解释性。因此，CF可用于（i）异常预防干预，（ii）训练稳健模型的数据增强。我们对使用大语言模型（LLM）生成的CF进行全面评估，包括GPT-4（零-shot和few-shot）以及两个开源模型-BioMistral-7B和LLaMA-3.1-8B，分别以预训练和微调配置进行测试。基于多模态AI-READI临床数据集，我们在干预质量、特征多样性和数据增强有效性三个维度上评估CF。微调后的LLM，特别是LLaMA-3.1-8B，能够生成高可信度（最高达99%）、强有效性（最高达0.99）的CF，并实现真实、可行为修改的特征调整。在受控标签稀缺情境下的增强数据应用中，LLM生成的CF显著恢复了分类器性能，在三个稀缺情境下实现平均20%的F1分数恢复。与基于优化的基线方法（如DiCE、CFNOW和NICE）相比，LLM提供了一种灵活、模型无关的方法，生成更具临床可操作性和语义连贯性的反事实解释。总体而言，本工作证明了LLM驱动的反事实解释在可解释干预设计和数据高效模型训练中具有广阔前景。影响：SenseCF通过微调LLM生成有效、具代表性的反事实解释，并用于增强不平衡数据集中的少数类，提高模型训练效果，提升模型的鲁棒性和预测性能。
引用
@article{arxiv.2601.14590,
title = {Counterfactual Modeling with Fine-Tuned LLMs for Health Intervention Design and Sensor Data Augmentation},
author = {Shovito Barua Soumma and Asiful Arefeen and Stephanie M. Carpenter and Melanie Hingle and Hassan Ghasemzadeh},
journal= {arXiv preprint arXiv:2601.14590},
year = {2026}
}
备注
Revised version