NCVX：面向约束机器与深度学习的通用优化求解器
机器学习
2022-11-15 v2 计算机视觉与模式识别
数学软件
信号处理
最优化与控制
摘要
施加显式约束在深度学习中相对较新但日益紧迫，其动因包括例如在不规则扰动集上执行鲁棒优化的可信AI，以及需要遵循物理定律与约束的科学应用。然而，若无优化专业知识，很难可靠地求解约束深度学习问题。现有深度学习框架不支持约束，而通用优化软件包虽能处理约束，却不进行自动微分且难以应对非光滑性。本文介绍了一款名为NCVX的新软件包，其初始版本包含求解器PyGRANSO——一个支持PyTorch的、用于约束机器/深度学习问题的通用优化包，属同类首创。NCVX从PyTorch继承了自动微分、GPU加速与张量变量，并构建于免费且广泛使用的开源框架之上。NCVX可在 https://ncvx.org 获取，附有详细文档及来自机器/深度学习与其他领域的众多示例。
引用
@article{arxiv.2210.00973,
title = {NCVX: A General-Purpose Optimization Solver for Constrained Machine and Deep Learning},
author = {Buyun Liang and Tim Mitchell and Ju Sun},
journal= {arXiv preprint arXiv:2210.00973},
year = {2022}
}
备注
Accepted by the NeurIPS Workshop on Optimization for Machine Learning (OPT 2022). arXiv admin note: text overlap with arXiv:2111.13984