任务无关的机器学习辅助推断
机器学习
2024-11-01 v3 机器学习
统计方法学
摘要
机器学习在科学研究中发挥着越来越重要的作用。结合经典统计方法,机器学习辅助分析策略在加速研究发现方面显示出巨大潜力。这也开辟了一个方法论研究领域,专注于利用机器学习和统计学的综合方法来应对数据科学挑战。一种迅速流行起来的研究类型是使用机器学习预测大规模样本中未观测到的结果,然后在后续统计推断中使用预测结果。然而,现有确保这种后预测推断有效性的方法仅限于非常基本的任务,如线性回归分析。这是因为将这些方法扩展到新的、更复杂的统计任务需要特定于任务的代数推导和软件实现,这忽略了已经为给定观测数据的同一科学问题开发的大量现有软件工具库。这严重限制了后预测推断的应用范围。为了解决这一挑战,我们引入了一个名为PSPS的新统计框架,用于任务无关的机器学习辅助推断。它提供了一种后预测推断解决方案,可以轻松插入几乎任何已建立的数据分析流程。它提供有效且高效的推断,对任意选择的机器学习模型具有鲁棒性,允许几乎所有现有的统计框架被纳入机器学习预测数据的分析中。通过大量实验,我们展示了我们方法的有效性、通用性和优越性。我们的软件可在https://github.com/qlu-lab/psps获取。
引用
@article{arxiv.2405.20039,
title = {Task-Agnostic Machine-Learning-Assisted Inference},
author = {Jiacheng Miao and Qiongshi Lu},
journal= {arXiv preprint arXiv:2405.20039},
year = {2024}
}