面向基于表示的孪生文本匹配的选择性特征注意力建模
计算与语言
2024-04-26 v1
摘要
由于部署和推理成本低，基于表示的孪生网络在轻量级文本匹配中得到了广泛应用。尽管在孪生网络中已实现词级注意力机制以提升性能，我们提出了特征注意力（FA），一种旨在丰富嵌入特征间依赖关系建模的新型下游模块。采用“squeeze-and-excitation”技术，FA 模块动态调整对单个特征的侧重，使网络能够更集中于对最终分类有显著贡献的特征。在 FA 的基础上，我们引入了一种称为选择性特征注意力（SFA）的动态“选择”机制，该机制利用堆叠的 BiGRU Inception 结构。SFA 模块通过遍历不同的堆叠 BiGRU 层促进多尺度语义提取，鼓励网络选择性地集中于不同抽象层级的语义信息和嵌入特征。FA 和 SFA 模块均具备与各种孪生网络无缝集成的能力，展现出即插即用的特性。在多种文本匹配基线和基准上的实验评估突显了对特征注意力建模的不可或缺性以及“选择”机制的优越性。
引用
@article{arxiv.2404.16776,
title = {Modeling Selective Feature Attention for Representation-based Siamese Text Matching},
author = {Jianxiang Zang and Hui Liu},
journal= {arXiv preprint arXiv:2404.16776},
year = {2024}
}
备注
Accepted by IJCAI2024