基于子模优化的特征交叉搜索

本文中，我们将特征交叉搜索作为特征工程中的基本原语加以研究。特征交叉搜索的重要性，尤其对线性模型而言，早已为人所知，并有著名的教材实例。该问题中，目标是选取一小部分特征，通过考虑其笛卡尔积将它们组合形成一个新特征(称为交叉特征)，并找到特征交叉以学习一个\emph{准确}的模型。特别地，我们研究在交叉特征列上训练的线性模型的归一化曲线下面积(AUC)最大化问题。首先，我们证明除非指数时间假设不成立，否则不可能为该问题提供 $n^{1/\log\log n}$ 近似算法。该结果也排除了除非 $\mathsf{P}=\mathsf{NP}$ 否则在多项式时间内求解此问题的可能性。在正面结果方面，通过假设\naive\假设，我们证明该问题存在简单的贪心 $(1-1/e)$ 近似算法。该结果通过将 AUC 与两个概率测度交换子的全变分相关联，并证明交换子的全变分是单调且子模的而建立。为此，我们将该函数的子模性与相应核矩阵的正半定性联系起来。然后，我们利用博赫纳定理，通过证明其逆傅里叶变换处处非负，来证明正半定性。我们的技术与结构性结果可能具有独立意义。