发现医疗神经网络中的不变性
机器学习
2020-03-04 v3 定量方法
机器学习
摘要
我们通过经验性地学习输入上的变换（使预测函数近似不变）来研究预训练预测模型的不变性特征。为学习不变变换，我们最小化以数据实例为条件的预测分布与以变换后数据实例为条件的预测分布之间的Wasserstein距离。为避免找到退化或微扰式变换，我们加入相似性正则化以抑制数据与其变换值之间的相似性。我们从理论上分析了算法的正确性与解的结构。将所提技术应用于临床时间序列数据，我们发现了常用LSTM模型在其预测中不依赖的变量，尤其在LSTM被训练为对抗鲁棒时。我们还分析了BioBERT在临床笔记上的不变性，并发现了它所不变的词。
引用
@article{arxiv.1911.03295,
title = {Discovering Invariances in Healthcare Neural Networks},
author = {Mohammad Taha Bahadori and Layne C. Price},
journal= {arXiv preprint arXiv:1911.03295},
year = {2020}
}
备注
The extended version