面向稠密检索的布尔感知注意力
计算与语言
2025-03-04 v1
摘要
我们提出布尔感知注意力（Boolean-aware attention），一种新型注意力机制，根据布尔运算符（如and、or、not）动态调整token的注意力。我们的模型采用针对特定操作符上下文的专门布尔专家，以放大或抑制该操作符相关注意力。通过检测布尔类型激活相应的专家。实验表明，将BoolAttn与BERT集成可大幅提升模型处理布尔查询的能力。
引用
@article{arxiv.2503.01753,
title = {Boolean-aware Attention for Dense Retrieval},
author = {Quan Mai and Susan Gauch and Douglas Adams},
journal= {arXiv preprint arXiv:2503.01753},
year = {2025}
}