评估推迟系统的因果框架
机器学习
2025-04-08 v2 人工智能
机器学习
摘要
推迟系统扩展了监督式机器学习（ML）模型，允许将预测委托给人类专家。然而，评估推迟策略对系统准确率影响的研究仍被忽视。本文通过因果视角填补了这一空白，通过将潜在结果框架与推迟系统关联，识别了推迟策略对预测准确率的因果影响。我们区分了两种情形。在第一种情况下，我们可获得委托实例中人类和 ML 模型预测的 Both。在这种情况下，我们可以识别委托实例的个体因果效应及其聚合。在第二种情况下，仅可获得委托实例中人类预测。在这种情况下，我们可采用回归不连续设计来估计局部因果效应。我们在合成数据和真实数据集上对来自文献中七个推迟系统进行评估。
引用
@article{arxiv.2405.18902,
title = {A Causal Framework for Evaluating Deferring Systems},
author = {Filippo Palomba and Andrea Pugnana and José Manuel Alvarez and Salvatore Ruggieri},
journal= {arXiv preprint arXiv:2405.18902},
year = {2025}
}
备注
Accepted at AISTATS 2025