用于非凸惩罚项的分布式平滑proximal梯度分部量回归
机器学习
2024-08-14 v2 人工智能
摘要
互联网 of things（IoT）中的分布式传感器生成海量稀疏数据。分析这一高维数据并识别相关预测器是一项重大挑战，尤其是当数据被偏好保留在其收集设备上的情况下，这涉及数据完整性、通信带宽和隐私等因素。本文引入一种分布式量回归算法以应对这些挑战。量回归提供了比均值回归模型更全面地理解变量之间关系的视角。然而，传统方法在处理非凸稀疏惩罚和损失函数内在的非光滑性方面面临困难。为此，我们提出一种分布式平滑proximal梯度（FSPG）算法，将平滑机制与proximal梯度框架相结合，从而提高了精度和计算速度。该集成巧妙地处理了网络中每个持有本地数据样本的设备上的优化，特别适用于分布式学习场景。FSPG算法通过保持或减少目标函数的值，在每个迭代中确保持续进展和可靠收敛。通过利用诸如迷你凹惩罚（MCP）和平滑裁剪绝对偏差（SCAD）等非凸惩罚，所提出的方法能够识别并保留稀疏模型中的关键预测器。全面仿真实验验证了所提出算法的稳健理论基础，并展示了 improved 估计精度和可靠收敛。
关键词
引用
@article{arxiv.2408.05640,
title = {Federated Smoothing Proximal Gradient for Quantile Regression with Non-Convex Penalties},
author = {Reza Mirzaeifard and Diyako Ghaderyan and Stefan Werner},
journal= {arXiv preprint arXiv:2408.05640},
year = {2024}
}