用于文本分类的端到端二值化神经网络
机器学习
2020-10-13 v1 计算与语言
摘要
深度神经网络几乎在每一项自然语言处理任务中都展现出了卓越性能，然而其日益增长的复杂性引发了担忧。特别是，这些网络对计算硬件要求高昂，训练预算对许多研究者而言是个问题。即便对于已训练好的网络，推理阶段对资源受限设备也可能过于繁重，从而限制了其适用性。最先进的transformer模型便是一个生动的例子。简化网络执行的计算是放宽复杂性要求的一种方式。本文中，我们提出了一种用于意图分类任务的端到端二值化神经网络架构。为充分利用端到端二值化的潜力，输入表示（词元统计的向量嵌入）与分类器均被二值化。我们在三个数据集的短文本意图分类以及一个更大数据集的文本分类上展示了该架构的效率。所提架构在标准意图分类数据集上取得了与最先进结果相当的性能，同时减少了约20-40%的内存与训练时间。此外，该架构的组成部分（如二值化文档向量嵌入或二值化分类器）可单独使用，未必需要完全二值化的架构。
引用
@article{arxiv.2010.05223,
title = {End to End Binarized Neural Networks for Text Classification},
author = {Harshil Jain and Akshat Agarwal and Kumar Shridhar and Denis Kleyko},
journal= {arXiv preprint arXiv:2010.05223},
year = {2020}
}
备注
14 pages. Accepted at the SustaiNLP Workshop on Simple and Efficient Natural Language Processing at EMNLP 2020