DFWLayer：可微 Frank-Wolfe 优化层
机器学习
2024-04-01 v2 人工智能
摘要
可微优化因其基于神经网络的机器学习领域中的基础作用而受到大量关注。本文通过展开 Frank-Wolfe 方法提出了一种名为可微 Frank-Wolfe 层（DFWLayer）的可微层；Frank-Wolfe 方法是一种著名的优化算法，它无需投影和 Hessian 矩阵计算即可求解约束优化问题，从而提供了一种处理带范数约束的大规模凸优化问题的有效途径。实验结果表明，DFWLayer 不仅在解和梯度上达到了有竞争力的精度，而且始终满足约束条件。
引用
@article{arxiv.2308.10806,
title = {DFWLayer: Differentiable Frank-Wolfe Optimization Layer},
author = {Zixuan Liu and Liu Liu and Xueqian Wang and Peilin Zhao},
journal= {arXiv preprint arXiv:2308.10806},
year = {2024}
}