面向深度学习训练中稀疏数据集的基础投影层设计——以 GC-MS 谱图为例
机器学习
2024-03-15 v1 信号处理
摘要
深度学习（DL）模型包含数百万甚至数十亿参数，能从大数据中学习复杂模式。然而，并非所有数据最初都以适合有效训练 DL 模型的形式存储，例如气相色谱-质谱联用（GC-MS）谱图和 DNA 序列。这些数据集通常包含许多零值，稀疏的数据形式给优化 DL 模型带来了困难。一种称为基础投影层（BPL）的 DL 模块被提出，通过将稀疏数据转换为稠密表示来缓解该问题。转换后的数据有望促进 DL 训练过程中的梯度计算和微调过程。该数据集是稀疏数据集的一个例子，包含从 GC-MS 检测到的 362 种精品咖啡气味谱图。BPL 层被放置在 DL 模型的开端。该层中的可调参数是可学习的投影轴，它们是新表示空间的基。当参数更新时，该层会旋转这些基。当基的数量与原始维度相同时，F1 分数的提升百分比为 8.56%。此外，当数量设置为 768（原始维度为 490）时，F1 分数的提升百分比为 11.49%。该层不仅保持了模型性能，甚至在分析稀疏数据集时构建了更好的表示空间。
引用
@article{arxiv.2403.09188,
title = {Design of an basis-projected layer for sparse datasets in deep learning training using gc-ms spectra as a case study},
author = {Yu Tang Chang and Shih Fang Chen},
journal= {arXiv preprint arXiv:2403.09188},
year = {2024}
}
备注
5 pages, 2 figures, 2 tables, conference