带约束的稀疏线性回归：一种灵活的基于熵的框架
系统与控制
2023-11-21 v2 系统与控制
摘要
本工作提出了一种求解稀疏线性回归问题的新方法，即确定 R^d 中的 k-稀疏向量 w 以最小化代价 ||y - Aw||^2_2。与现有方法不同，我们提出的方法将该 k-稀疏向量拆分为两部分——(a) 一个列随机二值矩阵 V，以及 (b) R^k 中的一个向量 x。此处，二值矩阵 V 编码了 w 中 k 个非零项的位置。等价地，它编码了矩阵 A 中将 w 映射到 y 的 k 个列的子集。我们证明，这使得能够将若干非平凡的应用特定结构约束建模为对 V 的约束。向量 x 由 w 中实际的非零值组成。我们使用最大熵原理（MEP）来求解所得优化问题。具体而言，我们为所有可行二值矩阵 V 的集合赋予一个概率分布，并迭代地确定该分布与向量 x，使得相关的香农熵最小化，且回归代价达到预设值。所得算法采用从凸熵函数到非凸代价函数的同伦法以避免糟糕的局部极小。我们展示了所提方法在纳入多种实际约束方面的有效性与灵活性，这些约束用现有基准方法难以建模。
引用
@article{arxiv.2311.08342,
title = {Sparse Linear Regression with Constraints: A Flexible Entropy-based Framework},
author = {Amber Srivastava and Alisina Bayati and Srinivasa Salapaka},
journal= {arXiv preprint arXiv:2311.08342},
year = {2023}
}