面向约束深度学习的可微投影
机器学习
2021-11-23 v1
摘要
深度神经网络（DNN）在解决各领域不同任务中取得了卓越性能。然而，常规 DNN 模型通过损失反向传播稳步逼近真值。在某些应用中，一些先验知识易于获得，例如真值观测所遵循的约束。在此，我们尝试给出一种通用方法，将来自这些约束的信息融入以提升 DNN 的性能。理论上，我们可以将此类问题表述为可由 KKT 条件求解的约束优化问题。本文中，我们提出在 DNN 中使用可微投影层，而非直接求解耗时的 KKT 条件。所提投影方法可微且无需繁重计算。最后，我们还使用随机生成的合成数据集以及基于 PASCAL VOC 数据集的图像分割任务进行了实验，以评估所提投影方法的性能。实验结果表明该投影方法充分有效且优于基线方法。
引用
@article{arxiv.2111.10785,
title = {Differentiable Projection for Constrained Deep Learning},
author = {Dou Huang and Haoran Zhang and Xuan Song and Ryosuke Shibasaki},
journal= {arXiv preprint arXiv:2111.10785},
year = {2021}
}