分层分类模型的校准

在分类问题中，训练数据与测试数据之间的抽样偏差对分类分数的排序性能至关重要。此类偏差既可由数据收集无意引入，也可由算法有意引入，例如应用于不平衡数据的欠抽样或加权技术。当存在此类抽样偏差时，使用原始分类分数对测试数据中的观测排序会导致次优结果。本文研究一般设定下的最优校准策略，并针对一种特定的抽样偏差情形——即由分层抽样引入的抽样偏差——给出实用解法。该最优解通过分析求解 ROC 曲线优化问题得到。针对实际数据，我提出一种面向分层数据通用分类模型的排序算法。数值实验表明，所提算法有效解决了分层抽样偏差问题。有趣的是，该方法在两个其他机器学习领域——无监督学习与模型集成——中展现出潜在适用性，可作为未来研究课题。