利用非参数变分信息瓶颈学习抽象表示
计算与语言
2023-10-27 v1
摘要
在字符、子词、词和句子层面学习到的表示，各自推动了人们对不同自然语言处理任务和语言现象的理解。然而，学习文本嵌入的成本很高，因为它们依赖于特定的分词方式，并且需要为每一抽象层级训练不同的模型。我们提出了一种新颖的语言表示模型，能够在同一模型的不同层中学习压缩到不同的抽象层级。我们将非参数变分信息瓶颈（NVIB）应用于编码器中的堆叠 Transformer 自注意力层，从而促使表示在模型中经历信息论意义上的压缩。我们发现模型各层对应于递增的抽象层级，且其表示具有更丰富的语言学信息。最后，我们表明 NVIB 压缩得到的模型对对抗扰动更具鲁棒性。
引用
@article{arxiv.2310.17284,
title = {Learning to Abstract with Nonparametric Variational Information Bottleneck},
author = {Melika Behjati and Fabio Fehr and James Henderson},
journal= {arXiv preprint arXiv:2310.17284},
year = {2023}
}
备注
Accepted to Findings of EMNLP 2023