基数约束下一般凸光滑函数的前向后向贪婪算法

我们研究了用于求解具有一般凸光滑函数的稀疏特征选择问题的前向后向贪婪算法。一种最先进的贪婪方法，即前向后向贪婪算法 (FoBa-obj)，需要求解大量优化问题，因此无法扩展至大规模问题。FoBa-gdt 算法在每次前向迭代中利用梯度信息进行特征选择，显著提高了 FoBa-obj 的效率。在本文中，我们系统地分析了这两种前向后向贪婪算法的理论性质。我们的主要贡献包括：1) 针对一般光滑凸函数，推导出了优于现有 FoBa-obj 分析的理论界；2) 证明了在相同条件（受限强凸性条件）下，FoBa-gdt 能达到与 FoBa-obj 相同的理论性能。我们的新界与特例（最小二乘法）的界一致，并填补了先前一般凸光滑函数存在的理论空白；3) 证明了当独立样本数量大于 $\bar{k}\log d$ 时（其中 $\bar{k}$ 为稀疏度，$d$ 为变量维度），受限强凸性条件得到满足；4) 将 FoBa-gdt（结合条件随机场目标函数）应用于人体室内活动识别的传感器选择问题，结果表明 FoBa-gdt 优于其他方法（包括基于前向贪婪选择和 L1-正则化的方法）。