基于多目标延拓处理带 L1 惩罚项优化问题的方法
最优化与控制
2021-09-23 v2 机器学习
摘要
我们提出了一种新颖的算法，使我们能够深入了解线性和非线性优化中稀疏性的影响，这在图像与信号处理、医学成像、压缩感知和机器学习（例如用于神经网络训练）等许多科学领域都极为重要。稀疏性是确保对噪声数据具有鲁棒性的重要特征，也是寻找由于相关项数量少而可解释且易于分析的模型的重要特征。通常的做法是通过添加 -范数作为加权惩罚项来强制稀疏性。为了获得更好的理解并支持有依据的模型选择，我们直接求解当同时最小化主要目标和 -范数时所产生的相应多目标优化问题（MOP）。由于该 MOP 在非线性目标下一般是非凸的，加权法将无法提供所有最优折衷。为避免此问题，我们提出了一种专门针对具有两个目标函数且其中之一为 -范数的 MOP 的延拓方法。我们的方法可视为著名的线性回归问题同伦方法向非线性情形的推广。多个数值例子——包括神经网络训练——展示了我们的理论发现以及通过这种多目标方法可获得的额外洞察。
引用
@article{arxiv.2012.07483,
title = {On the Treatment of Optimization Problems with L1 Penalty Terms via Multiobjective Continuation},
author = {Katharina Bieker and Bennet Gebken and Sebastian Peitz},
journal= {arXiv preprint arXiv:2012.07483},
year = {2021}
}
备注
Accepted by IEEE TPAMI 2021