利用层级零阶约束解锁三层学习：分布式算法与可证明的非渐近收敛性
机器学习
2024-12-11 v1 最优化与控制
摘要
三层学习（TLL）在众多机器学习应用中找到了广泛的应用，从鲁棒的超参数优化到域适应。然而，现有研究主要关注TLL可以通过每一层的一阶信息来解决的场景，这在许多涉及零阶约束的情况下是不充分的，例如当使用黑箱模型时。此外，在三层学习中，数据可能分布在各个节点上，需要在不将数据集中到服务器上的情况下解决TLL问题以维护数据隐私。为此，本文提出了一种有效的分布式三层零阶学习框架DTZO，以分布式方式解决具有层级零阶约束的TLL问题。所提出的DTZO具有通用性，可以适应广泛的（灰箱）TLL问题，并具有部分零阶约束。在DTZO中，级联多项式逼近可以在不依赖梯度或次梯度的情况下构建，利用一种新颖的切割方法，即零阶切割。此外，我们从理论上对所提出的DTZO在达到-平稳点方面的非渐近收敛速率进行了分析。大量实验已被开展以展示和验证所提出DTZO的优越性能，例如其性能大约实现了高达40%的提升。
引用
@article{arxiv.2412.07138,
title = {Unlocking TriLevel Learning with Level-Wise Zeroth Order Constraints: Distributed Algorithms and Provable Non-Asymptotic Convergence},
author = {Yang Jiao and Kai Yang and Chengtao Jian},
journal= {arXiv preprint arXiv:2412.07138},
year = {2024}
}