面向类别特征的带梯度估计器的随机梯度下降
机器学习
2023-04-19 v2
摘要
类别数据存在于健康或供应链等关键领域中，这类数据需要特殊处理。为了在此类数据上应用近期的机器学习模型，需要进行编码。为了构建可解释的模型，独热编码仍是一种很好的方案，但此类编码会产生稀疏数据。梯度估计器并不适用于稀疏数据：梯度主要被视为零，而实际上它并不总是存在，因此本文引入了一种新颖的梯度估计器。我们从理论上说明了该估计器最小化的目标，并在多个数据集与多种模型架构上展示了其有效性。在相似设置下，这一新估计器的表现优于常见估计器。我们还发布了一个经匿名化的真实世界零售数据集。总体而言，本文旨在全面考虑类别数据，并使模型与优化器适应这些关键特征。
引用
@article{arxiv.2209.03771,
title = {Stochastic gradient descent with gradient estimator for categorical features},
author = {Paul Peseux and Maxime Berar and Thierry Paquet and Victor Nicollet},
journal= {arXiv preprint arXiv:2209.03771},
year = {2023}
}