利用稀疏性进行样本高效偏好学习：一个理论视角

本文考察了偏好学习的样本效率，该方法基于比较判断来建模和预测人类选择。在经典估计理论中，最小混沌最优估计误差率为 $\Theta(d/n)$ 要求样本数 $n$ 随特征空间维度 $d$ 线性增长。然而，特征空间的高维度以及收集人工标注数据的高成本挑战了传统估计方法的效率。为此，我们利用偏好模型中的稀疏性，建立了尖锐的误差率。我们证明，在稀疏随机效用模型下，其中奖励函数的参数为 $k$ 稀疏时，最小混沌最优率可降低至 $\Theta(k/n \log(d/k))$。此外，我们分析了 $\ell_{1}$-正则化估计器，表明其在Gram矩阵的轻度假设下可实现接近最优的误差率。在合成数据和LLM对齐数据上的实验验证了我们的理论发现，表明稀疏感知方法显著降低了样本复杂度并提高了预测准确性。