具有非光滑对数凹密度的稀疏/鲁棒估计与 Kalman 平滑：建模、计算与理论

我们引入了一类二次支撑（QS）函数，其中许多在各种应用中发挥着关键作用，包括机器学习、鲁棒统计推断、稀疏性促进和 Kalman 平滑。著名的例子包括 l2、Huber、l1 和 Vapnik 损失。我们基于凸分析构建了 QS 函数的对偶表示，揭示了 QS 函数被解释为概率密度负对数所需的结构，并为 QS 损失函数的统计解释与分析提供了基础。对于 QS 函数中被称为分段线性二次（PLQ）惩罚的子类，我们还开发了高效的数值估计方案。这些组件构成了适用于各种学习应用的灵活统计建模框架，并附带了一套用于推断的高效数值方法工具箱。特别地，对于 PLQ 密度，可以使用内点（IP）方法。IP 方法通过直接处理表征其最优性的光滑方程组来求解非光滑优化问题。IP 方法的效率取决于特定应用的结构。我们考虑了使用 Kalman 平滑的动态逆问题类，其目标是从带噪声的输出样本出发，在已知过程模型和测量模型的情况下重建动态系统的状态。在经典情形中，过程模型和测量模型中假设存在高斯误差。扩展后的框架允许使用任意 PLQ 密度，并且所提出的 IP 方法在求解广义 Kalman 平滑问题时，保持了与高斯情形相当的、随时间序列长度呈线性的计算复杂度。这将经典算法的计算效率扩展到了更广泛的非光滑设定中，并将许多最近提出的鲁棒与稀疏平滑器作为特例包含在内。