Protoformer：为 Transformer 嵌入原型
计算与语言
2022-06-28 v1 机器学习
摘要
Transformer 已广泛应用于文本分类。遗憾的是，真实世界数据包含异常样本与噪声标签，给最先进的 Transformer 带来挑战。本文提出 Protoformer，一种面向 Transformer 的新型自学习框架，可利用问题样本进行文本分类。Protoformer 具备一种用于嵌入样本的选择机制，使我们能够高效提取并利用异常原型与困难类别原型。我们在具有多样文本结构的数据集（如 Twitter、IMDB、ArXiv）上展示了此类能力，并将该框架应用于若干模型。结果表明，Protoformer 能在多种实证设定下改进当前的 Transformer。
引用
@article{arxiv.2206.12710,
title = {Protoformer: Embedding Prototypes for Transformers},
author = {Ashkan Farhangi and Ning Sui and Nan Hua and Haiyan Bai and Arthur Huang and Zhishan Guo},
journal= {arXiv preprint arXiv:2206.12710},
year = {2022}
}
备注
Advances in Knowledge Discovery and Data Mining (PAKDD 2022)