混合特征逻辑回归对分布偏移的鲁棒性
机器学习
2025-03-18 v1 最优化与控制
机器学习
摘要
逻辑回归模型因其简洁性和可解释性而被广泛应用于社会科学和行为科学以及高风险领域。同时，这些领域充斥着分布偏移，即生成数据的分布在训练与部署之间发生变化。本文研究了一个分布鲁棒的逻辑回归问题，旨在寻找在从适当构造的Wasserstein模糊集中抽取的数据分布的对抗实现下表现最佳的模型。我们的模型和求解方法与先前工作不同之处在于，我们可以捕捉分布偏移的可能性在各特征之间变化的情况，从而显著拓宽了模型相对于最先进方法的适用性。我们提出了一种基于图的求解方法，可以集成到现成的优化求解器中。我们在众多公开可用数据集上评估了模型和算法的性能。与最先进方法相比，我们的求解方法实现了408倍的速度提升。此外，与最先进方法相比，我们的模型将平均校准误差最多降低了36.19%，最差情况校准误差最多降低了41.70%，同时将平均ROC曲线下面积（AUC）最多提升了18.02%，最差情况AUC最多提升了48.37%。
引用
@article{arxiv.2503.12012,
title = {Mixed-feature Logistic Regression Robust to Distribution Shifts},
author = {Qingshi Sun and Nathan Justin and Andres Gomez and Phebe Vayanos},
journal= {arXiv preprint arXiv:2503.12012},
year = {2025}
}
备注
The 28th International Conference on Artificial Intelligence and Statistics (AISTATS), 2025