面向深度学习与大数据应用的自动化数据处理与特征工程：综述

现代人工智能（AI）方法旨在设计直接从数据中学习的算法。该方法取得了令人瞩目的成果，并对AI的进步做出了重大贡献，特别是在监督深度学习领域。由于学习过程高度自动化，它也简化了机器学习系统的设计。然而，传统深度学习流程中的数据处理任务并未全部实现自动化。在大多数情况下，数据必须经过手动收集、预处理，并通过数据增强进一步扩充，才能有效用于训练。近期，自动化这些任务的专门技术相继出现。数据处理任务的自动化是由机器学习和大数据应用中利用大量复杂、异构数据的需求所驱动的。如今，基于自动化机器学习技术的端到端自动化数据处理系统能够接收原始数据，并通过自动化所有中间处理阶段将其转化为适用于大数据任务的有用特征。在本研究中，我们对深度学习流程中数据处理任务的自动化方法进行了全面综述，包括自动化数据预处理（例如数据清洗、标注、缺失数据填补和分类数据编码），以及数据增强（包括使用生成式AI方法生成合成数据）和特征工程——具体为自动化特征提取、特征构建和特征选择。除了自动化特定的数据处理任务外，我们还讨论了使用AutoML方法和工具同时优化机器学习流程所有阶段的问题。