NevIR：神经信息检索中的否定

否定是一种常见的日常现象，且一直是语言模型（LM）的持续性弱点。尽管信息检索（IR）社区已将LM采纳为现代IR架构的骨干，但在理解否定如何影响神经IR方面几乎尚无研究。因此我们构建了一个关于该主题的直接基准：要求IR模型对仅因否定而不同的两篇文档排序。我们表明结果因IR架构类型而异：交叉编码器表现最佳，其次是晚期交互模型，最后是双编码器与稀疏神经架构。我们发现大多数信息检索模型（包括SOTA模型）不考虑否定，表现与随机排序相同或更差。我们表明，尽管在包含否定的对比文档数据集上继续微调的显见方法（以及模型规模增大）能提升性能，但机器与人类性能之间仍存在巨大差距。