反例引导的单调神经网络学习
机器学习
2020-06-17 v1 机器学习
摘要
深度学习的广泛采用常归功于其以最小归纳偏置进行的自动特征构建。然而，在许多真实世界任务中，所学函数旨在满足领域特定约束。我们关注单调性约束，其常见且要求函数输出随特定输入特征值的增大而增大。我们开发了一种反例引导技术，以在预测时可证明地强制单调性约束。此外，我们提出了一种将单调性用作深度学习归纳偏置的技术，其通过在学习过程中迭代融入单调性反例来工作。与先前单调学习工作不同，我们以通用 ReLU 神经网络为目标，且不进一步限制假设空间。我们已将这些技术实现于名为 COMET 的工具中。在真实世界数据集上的实验表明，相较于已有单调学习器，我们的方法取得了最优(state-of-the-art)结果，且相比未考虑单调性约束训练的模型可提升模型质量。
引用
@article{arxiv.2006.08852,
title = {Counterexample-Guided Learning of Monotonic Neural Networks},
author = {Aishwarya Sivaraman and Golnoosh Farnadi and Todd Millstein and Guy Van den Broeck},
journal= {arXiv preprint arXiv:2006.08852},
year = {2020}
}