面向机器学习应用的拟正交编码
机器学习
2020-06-02 v1 机器学习
摘要
大多数机器学习模型，尤其是人工神经网络，需要数值而非类别数据。我们简要描述常见编码方案的优缺点。例如，独热编码常用于具有少量不相关类别的属性，词嵌入用于具有许多相关类别（如单词）的属性。二者均不适合编码具有许多不相关类别的属性，例如医疗应用中的诊断码。例如，对诊断码应用独热编码可导致极高维与小样本问题，或人为引入机器学习伪影，更不用说所需计算资源的爆炸。拟正交编码（QOE）填补了这一空白。我们简要展示QOE与独热编码的对比。我们提供使用Tensorflow和PyTorch等流行ML库实现QOE的示例代码，以及QOE在MNIST手写样本上的演示。
引用
@article{arxiv.2006.00038,
title = {Quasi-orthonormal Encoding for Machine Learning Applications},
author = {Haw-minn Lu},
journal= {arXiv preprint arXiv:2006.00038},
year = {2020}
}
备注
Accepted and submitted to 19th Python in Science Conference. (SciPy 2020)