无交换步的成对条件梯度稀疏核herding
最优化与控制
2022-02-09 v3
摘要
成对条件梯度（PCG）算法是 Frank-Wolfe 算法的一种强大扩展，能产生特别稀疏的解，这使得 PCG 对稀疏信号恢复、稀疏回归和核 herding 等问题极具吸引力。遗憾的是，PCG 会出现所谓的交换步，可能无法提供充分的原始进展。这些坏步的数量由维度相关函数界定，因此已知保证无法推广到无限维情形，而核 herding 正需要后者。我们提出 PCG 的一种新变体，即所谓混合成对条件梯度（BPCG）。该新算法不出现任何交换步，易于实现，且不需要任何内部梯度对齐过程。BPCG 的收敛速率基本等同于无丢弃步时的 PCG，因此不劣于 PCG，且在许多情况下有所改进并提供新速率。此外，我们在数值实验中观察到 BPCG 的解比 PCG 的解稀疏得多。我们将 BPCG 应用于核 herding 设定，推导出良好的求积规则，并给出展示我们方法性能的数值结果。
引用
@article{arxiv.2110.12650,
title = {Sparser Kernel Herding with Pairwise Conditional Gradients without Swap Steps},
author = {Kazuma Tsuji and Ken'ichiro Tanaka and Sebastian Pokutta},
journal= {arXiv preprint arXiv:2110.12650},
year = {2022}
}