AttentionMix：一种基于 BERT 注意力机制的数据增强方法
计算与语言
2023-09-21 v1 人工智能
摘要
Mixup 方法已被证明是计算机视觉中一种强大的数据增强技术，其许多后继方法以引导方式执行图像混合。一个有趣的研究方向是将底层的 Mixup 思想迁移到其他领域，例如自然语言处理（NLP）。尽管已存在若干将 Mixup 应用于文本数据的方法，但仍有空间容纳新的、改进的方法。在本文中，我们引入 AttentionMix，一种依赖基于注意力的信息的新型混合方法。虽然本文聚焦于 BERT 注意力机制，所提方法可普遍应用于任何基于注意力的模型。AttentionMix 在 3 个标准情感分类数据集上进行了评估，并且在所有三个案例中均优于两种利用 Mixup 机制的基准方法以及原始 BERT 方法。结果证实了基于注意力的信息可有效用于 NLP 领域的数据增强。
引用
@article{arxiv.2309.11104,
title = {AttentionMix: Data augmentation method that relies on BERT attention mechanism},
author = {Dominik Lewy and Jacek Mańdziuk},
journal= {arXiv preprint arXiv:2309.11104},
year = {2023}
}