基于图对比预训练与多目标微调的无监督生成特征转换
机器学习
2024-05-28 v1 人工智能
摘要
特征转换旨在从原始特征中导出新的特征集合，以提升数据的AI效能。在诸多科学领域（如材料性能筛选）中，特征转换能够建模材料配方之间的相互作用与成分，发现性能驱动因素，但受限于实验成本高昂且周期长，监督标签往往难以获取。这一现象催生了无监督特征转换学习 (Unsupervised Feature Transformation Learning, UFTL)问题。现有方法，如手动转换、监督反馈引导搜索及主成分分析 (PCA)，要么依赖领域知识，要么需要昂贵的监督反馈，要么面临大范围的搜索空间，亦或忽视特征间的非线性相互作用。UFTL面临着主要挑战：如何设计一种无监督范式来捕获复杂的特征相互作用，同时避免庞大的搜索空间？为填补这一空白，我们将图结构、对比学习与生成学习相结合，构建了测度-预训练-微调范式用于UFTL。对于无监督特征集合效用测度，我们提出一种保持特征值一致性的视角，构建了类似累积增益的无监督指标来评估特征集合效用。对于无监督特征集合表示预训练，我们将特征集合视为特征-特征相互作用图，构建了无监督图对比学习编码器，将特征集合嵌入向量空间。对于生成式转换微调，我们将特征集合视为特征交叉序列，将特征转换视为序列生成。我们构建了深度生成式特征转换模型，协调预训练的特征集合编码器与从特征集合效用评估器中提取的梯度信息，以优化转换后的特征生成器。
引用
@article{arxiv.2405.16879,
title = {Unsupervised Generative Feature Transformation via Graph Contrastive Pre-training and Multi-objective Fine-tuning},
author = {Wangyang Ying and Dongjie Wang and Xuanming Hu and Yuanchun Zhou and Charu C. Aggarwal and Yanjie Fu},
journal= {arXiv preprint arXiv:2405.16879},
year = {2024}
}