用于高效可解释长文本分类的多维感知机
计算与语言
2023-04-05 v1 人工智能
摘要
由于 transformer 与预训练模型不可避免的成本与复杂性，长文本分类的效率问题引发关注。同时，在医疗与法律长文本挖掘等高度敏感领域，潜在的模型不信任——虽被低估且少有探索——可能滋生重大忧虑。现有方法通常将长文本分段，用预训练模型编码每段，并使用注意力或 RNN 获取长文本表示以分类。本工作中，我们提出一个简单而有效的模型，分段感知多维感知机（SWIPE），以替换上述框架中的注意力/RNN。与先前工作不同，SWIPE 可通过有监督训练有效学习整文本标签，同时以无监督方式感知各段标签并估计其对长文本标注的贡献。作为通用分类器，SWIPE 可支撑不同编码器，并在分类准确率与模型效率上优于 SOTA 模型。值得注意的是，SWIPE 实现了优越的可解释性以透明化长文本分类结果。
引用
@article{arxiv.2304.01638,
title = {Multidimensional Perceptron for Efficient and Explainable Long Text Classification},
author = {Yexiang Wang and Yating Zhang and Xiaozhong Liu and Changlong Sun},
journal= {arXiv preprint arXiv:2304.01638},
year = {2023}
}