基于黏菌驱动的微分线性规划层及其应用
机器学习
2021-05-11 v2 计算机视觉与模式识别
机器学习
摘要
考虑一种学习算法，其内部调用了诸如广义特征值问题、锥规划问题甚至排序等优化例程。将此类方法以高效且数值稳定的方式作为可训练深度神经网络（DNN）中的层集成并不简单——例如，仅近期才出现了特征分解与可微排序的策略。我们提出了一种高效且可微的通用线性规划问题求解器，可作为即插即用的层用于DNN中。我们的研究受到黏菌（physarum）动力学与最速下降等优化方案之间引人入胜但未被广泛使用的联系的启发。我们描述了该求解器的开发，并展示了其在视频分割任务和用于少样本学习的元学习中的使用。我们回顾已有结果并提供技术分析以说明其对我们使用情形的适用性。我们的求解器在第一项任务上与定制的投影梯度下降方法表现相当，并在第二项任务上优于可微CVXPY-SCS求解器。实验表明，我们的求解器无需可行初始点即可快速收敛。我们的方案易于实现，并可在学习过程需要于更大网络内快速近似求解LP时轻松作为层使用。
引用
@article{arxiv.2004.14539,
title = {Physarum Powered Differentiable Linear Programming Layers and Applications},
author = {Zihang Meng and Sathya N. Ravi and Vikas Singh},
journal= {arXiv preprint arXiv:2004.14539},
year = {2021}
}