在SVD提升的隐空间上学习神经网络用于语义分类
机器学习
2022-03-07 v1 人工智能
计算与语言
机器学习
摘要
大量数据的可用性与可观的计算能力使深度学习模型在文本分类与情感分析中颇受欢迎。当在词计数、词频和二值矩阵嵌入等朴素文本表示上训练时，深度神经网络在上述任务上取得了有竞争力的性能。然而，上述许多表示导致输入空间维度达到词汇表规模量级，极为庞大。这造成待学习参数数量激增，且在扩展到需保留海量词汇表的领域时计算成本变得不可行。本文提出使用奇异值分解将高维输入空间变换为低维隐空间。我们表明，在此低维空间上训练的神经网络不仅能在享受计算复杂度显著下降的同时保持性能，而且在许多情况下还优于在原生输入空间上训练的经典神经网络。
引用
@article{arxiv.2101.00563,
title = {Learning Neural Networks on SVD Boosted Latent Spaces for Semantic Classification},
author = {Sahil Sidheekh},
journal= {arXiv preprint arXiv:2101.00563},
year = {2022}
}