利用智能数据平衡技术的两阶段孟加拉语问题分类混合方法
计算与语言
2020-08-11 v3 信息检索
机器学习
机器学习
摘要
问题分类(QC)是问答(QA)系统的首要步骤。问题分类(QC)系统将问题归类至特定类别,以使问答(QA)系统能为问题提供正确答案。我们的系统在提取问题特征后,对以自然语言提出的 Factoid 型问题进行分类。我们提出一个针对孟加拉语的两阶段 QC 系统。其第一阶段利用一维卷积神经网络将问题分类为粗粒度类别。我们构建并使用问题语料库中已有词的 Word2vec 表示以辅助 1D CNN。采用一种智能数据平衡技术,使数据饥渴的卷积神经网络能从更多有效样本中学习。对于每个粗粒度类别,使用独立的基于随机梯度下降(SGD)的分类器以区分该粗类中的细粒度类别。每个词的 TF-IDF 表示被用作第二阶段分类中 SGD 分类器的特征。实验显示了我们提出的方法在孟加拉语问题分类上的有效性。
引用
@article{arxiv.1912.00127,
title = {A Hybrid Approach Towards Two Stage Bengali Question Classification Utilizing Smart Data Balancing Technique},
author = {Md. Hasibur Rahman and Chowdhury Rafeed Rahman and Ruhul Amin and Md. Habibur Rahman Sifat and Afra Anika},
journal= {arXiv preprint arXiv:1912.00127},
year = {2020}
}