超越判别模式:论决策规则集成的鲁棒性
机器学习
2025-08-27 v2 人工智能
摘要
局部决策规则通常被认为更具可解释性,因为所涉及模式具有局部性。借助梯度提升等数值优化方法,局部决策规则集成可在涉及全局结构的数据上获得良好预测性能。同时,机器学习模型正日益被用于医疗与金融等高风险领域的问题求解。在此,关于从业者是否需要理解这些模型在部署环境中面对分布偏移时能否及如何鲁棒表现的共识正在形成。以往关于局部决策规则的研究主要聚焦于最大化判别模式,而未充分考量针对分布偏移的鲁棒性。为填补此空白,我们提出一种学习与集成局部决策规则的新方法,使规则在训练与部署环境中均具鲁棒性。具体地,我们提出利用因果知识,将子群体与部署环境中的分布偏移视为底层系统上干预的结果。我们基于因果知识提出两个正则化项以搜索最优且稳定的规则。在合成与基准数据集上的实验表明,我们的方法在多种环境中有效且对分布偏移鲁棒。
引用
@article{arxiv.2109.10432,
title = {Beyond Discriminant Patterns: On the Robustness of Decision Rule Ensembles},
author = {Xin Du and Subramanian Ramamoorthy and Wouter Duivesteijn and Jin Tian and Mykola Pechenizkiy},
journal= {arXiv preprint arXiv:2109.10432},
year = {2025}
}
备注
Accepted by ICDM 2025