特征提取与特征选择：利用Apache Spark降低数据复杂度
数据库
2017-12-27 v1 密码学与安全
摘要
特征提取与特征选择是利用机器学习检测网络安全威胁与攻击时输入日志预处理的首先任务。当分析源自不同来源的异构数据时，这些任务耗时且难以高效管理。本文提出一种处理源自不同网络传感器的异构数据安全分析中的特征提取与特征选择的方法。该方法使用Apache Spark的Python API（即pyspark）实现。
引用
@article{arxiv.1712.08618,
title = {Feature Extraction and Feature Selection: Reducing Data Complexity with Apache Spark},
author = {Dimitrios Sisiaridis and Olivier Markowitch},
journal= {arXiv preprint arXiv:1712.08618},
year = {2017}
}