DIM：在深度神经网络中强制领域知情单调性
机器学习
2025-09-29 v1 人工智能
摘要
尽管深度学习模型在预测任务中表现优异，但由于其复杂的结构和庞大的参数量，它们往往会过拟合，导致其记住训练数据（包括噪声），而不是学习到可泛化至新数据的模式。为应对这一挑战，本文提出了一种新的正则化方法，即在深度神经网络中强制领域知情单调性（DIM），该方法在复杂的深度学习模型中保持领域知情的单调关系，以进一步提升预测效果。具体而言，我们的方法通过惩罚相对于线性基线的违规行为来强制单调性，在保持模型预测能力的同时，有效地鼓励模型遵循预期趋势。我们通过一个综合的数学框架将这一方法形式化，该框架建立线性参考、测量偏离单调行为的程度，并将这些测量结果整合到训练目标中。我们使用来自芝加哥的真实网约车数据集和合成创建的数据集对所提方法进行了测试和验证。在各种神经网络架构上的实验表明，即使是适度的单调性约束也能持续提升模型性能。DIM 通过应用领域知情单调性约束来规范模型行为并缓解过拟合，从而增强了深度神经网络的预测性能。
引用
@article{arxiv.2509.21666,
title = {DIM: Enforcing Domain-Informed Monotonicity in Deep Neural Networks},
author = {Joshua Salim and Jordan Yu and Xilei Zhao},
journal= {arXiv preprint arXiv:2509.21666},
year = {2025}
}