使用生成式代价模型学习单调概率
机器学习
2025-11-06 v1
摘要
在许多机器学习任务中，输入与输出变量之间的关系常常需要是单调的，包括严格单调和隐式单调关系。传统的保持单调性的方法主要依赖于构造或正则化技术，而本文表明，严格单调概率问题可被视为一个可观测收益变量与一个潜在代价变量之间的偏序关系。这一视角使我们能够将单调性挑战重新表述为对潜在代价变量的建模。为解决此问题，我们为潜在代价变量引入了一个生成网络，称为生成式代价模型（GCM），它内在地解决了严格单调问题，并提出隐式生成式代价模型（IGCM）以解决隐式单调问题。我们进一步通过分位数回归的数值模拟验证了我们的方法，并在多个公开数据集上进行了实验，结果表明我们的方法显著优于现有的单调建模技术。我们的实验代码可在 https://github.com/tyxaaron/GCM 找到。
引用
@article{arxiv.2506.03542,
title = {Learning Monotonic Probabilities with a Generative Cost Model},
author = {Yongxiang Tang and Yanhua Cheng and Xiaocheng Liu and Chenchen Jiao and Yanxiang Zeng and Ning Luo and Pengjia Yuan and Xialong Liu and Peng Jiang},
journal= {arXiv preprint arXiv:2506.03542},
year = {2025}
}