稀疏高阶交互模型的置信机器
机器学习
2022-11-02 v2 机器学习
摘要
在高风险决策的预测建模中，预测器不仅必须准确，还必须可靠。保形预测（Conformal Prediction, CP）是一种在较少理论假设下获得预测结果置信度的方法。为了通过所谓的完全保形预测（full-CP）获得置信集，我们需要针对预测结果的所有可能取值重新拟合预测器，这仅对简单预测器可行。对于随机森林（RFs）或神经网络（NNs）等复杂预测器，通常采用分割保形预测（split-CP），将数据分为两部分：一部分用于拟合，另一部分用于计算置信集。遗憾的是，由于样本量减少，split-CP 在拟合和置信集计算方面均不如 full-CP。本文提出了稀疏高阶交互模型（SHIM）的 full-CP，该模型足够灵活，可考虑变量间的高阶交互。我们通过引入一种称为同伦挖掘（homotopy mining）的新方法来解决 SHIM 的 full-CP 的计算挑战。通过数值实验，我们证明了 SHIM 与 RF 和 NN 等复杂预测器一样准确，并具备 full-CP 的更优统计功效。
引用
@article{arxiv.2205.14317,
title = {A Confidence Machine for Sparse High-Order Interaction Model},
author = {Diptesh Das and Eugene Ndiaye and Ichiro Takeuchi},
journal= {arXiv preprint arXiv:2205.14317},
year = {2022}
}