特征工程并未死亡：基于熵、HOG与LBP特征融合的经典机器学习在图像分类中的复兴
计算机视觉与模式识别
2026-02-06 v2 机器学习
摘要
特征工程在图像分类中仍发挥着关键作用，尤其是在解释性和计算效率受到重视而非依赖具有数百万参数的深度学习模型时。在本研究中，我们通过一种以置换熵（Permutation Entropy, PE）为核心的新方法重新审视基于经典机器学习的图像分类。PE是一种稳健且计算开销低的度量，通常用于时间序列分析，但较少应用于图像数据。我们将PE扩展到二维图像，提出一种基于多尺度、多方向熵的特征提取方法，用于刻画图像中沿行、列、对角线、反对角线以及局部图像块的空间次序和复杂度。为增强熵特征的判别能力，我们将两种经典图像描述子集成其中：直方图方向梯度（Histogram of Oriented Gradients, HOG）用于捕捉形状和边缘结构，局部二值模式（Local Binary Patterns, LBP）用于编码图像的微纹理。最终构建的手工特征集包含780维，可用于训练经通过网格搜索优化的支持向量机（SVM）分类器。我们在多个基准数据集上对所提出的方法进行评估，包括Fashion-MNIST、KMNIST、EMNIST和CIFAR-10，其中它在不依赖深度结构的情况下 delivers 了具竞争力的分类性能。我们的结果表明，PE与HOG和LBP的融合提供了一种紧凑、可解释且有效的替代方案，以克服计算密集且解释性有限的深度学习模型。这表明了基于熵的描述子在图像分类中的潜力，并为解释性机器学习在图像分类和计算机视觉领域提供了一种轻量且通用的解决方案。
引用
@article{arxiv.2507.13772,
title = {Feature Engineering is Not Dead: Reviving Classical Machine Learning with Entropy, HOG, and LBP Feature Fusion for Image Classification},
author = {Abhijit Sen and Giridas Maiti and Bikram K. Parida and Bhanu P. Mishra and Mahima Arya and Denys I. Bondar},
journal= {arXiv preprint arXiv:2507.13772},
year = {2026}
}