神经网络激活值的齐次线性不等式约束
机器学习
2020-05-29 v4 机器学习
摘要
我们提出一种对神经网络激活值施加形如 的齐次线性不等式约束的方法。所提方法允许将数据驱动的训练方式与关于任务的先验知识建模相结合。实现此任务的一种途径是在无约束训练后于测试时执行投影步骤。然而，这是一项昂贵操作。通过将约束直接嵌入架构，我们可显著加速测试时推理；例如，我们的实验显示相较投影方法提速达两个数量级。我们的算法在初始化时计算可行集的合适参数化，并使用标准随机梯度下降变体来寻找约束网络的解。因此，建模约束在训练期间始终满足。关键在于，我们的方法避免了在每个训练步求解优化问题，或利用额外超参数手动权衡数据与约束保真度。我们将约束生成建模视为重要应用领域，并通过约束变分自编码器实验演示了所提方法。
引用
@article{arxiv.1902.01785,
title = {Homogeneous Linear Inequality Constraints for Neural Network Activations},
author = {Thomas Frerix and Matthias Nießner and Daniel Cremers},
journal= {arXiv preprint arXiv:1902.01785},
year = {2020}
}
备注
CVPR 2020 DeepVision Workshop