使用效益-成本比进行特征检测时的隐含影响

在许多实际机器学习应用中，存在两个目标：一是最大化预测精度，二是最小化所得模型的成本。这些单个特征的成本可能是财务成本，但也可指其他方面，例如评估时间。特征选择同时应对这两个目标，因为它减少了特征数量并能提升模型的泛化能力。若特征间成本不同，特征选择需权衡每个特征的个体效益与成本。一种流行的权衡选择是两者的比值，即 BCR（效益-成本比）。本文分析了使用该度量的隐含影响，特别关注区分相关特征与噪声的能力。我们对不同成本与数据设定进行了模拟研究，并得到了相关特征的检测率与权衡比的经验分布。我们的模拟研究揭示了成本设定对检测率的明确影响。在成本差异大且效应量小的情形下，BCR 漏掉了相关特征而偏好廉价噪声特征。我们得出结论：若无控制超参数，预测性能与成本间的权衡很容易过度强调极廉价的噪声特征。尽管简单的效益-成本比提供了融入成本的便捷方案，但意识到其风险十分重要。避免接近 0 的成本、对大幅成本差异重新缩放，或使用超参数权衡，均是抵消本文所揭示不利影响的方法。