分类任务中的病态正则化情形

本文展示了在二进制分类任务中，数据集与来自训练模型获得的分类得分之间可能出现趋势反转的可能性。当正则化参数包含我们称为病态正则化情形的参数时，便会发生这种趋势反转。对于岭回归，我们给出数据集是否存在病态正则化情形的必要且充分代数条件。此外，本研究结果为数据科学从业者提供了实际工具，以避免遭受趋势反转的超参数选择。我们进一步呈现了对逻辑回归的病态正则化情形的数值结果。最后，我们将其与呈现 Simpson 悖论的数据集联系起来，提供了病态数据集的自然来源。