ColBERT 的 [MASK]-based 查询增强：四倍查询输入长度的影响

ColBERT 的一个独特特性是使用 [MASK] 标记符对文档进行评分（查询增强）。先前的工作表明，[MASK] 标记符对非-[MASK] 查询术语进行加权，强调某些标记符而非引入新的术语作为最初提出的那样。我们首先演示了之前报告的 [MASK] 标记符在 ColBERTv1 中的术语加权行为在 ColBERTv2 中同样成立。随后，我们检查了将 [MASK] 标记符的数量从 0 增加到查询输入长度的 4 倍（相对于训练时使用的长度），用于一级检索和对候选文档进行评分，观察到在少量 [MASK] 标记符时性能初次下降，当足够添加 [MASK] 标记符使查询填充到平均长度为 32 时性能大幅提升，之后则趋于稳定。此外，我们将基准性能与查询长度扩展到 128 个标记符时的性能进行比较，发现差异较小（例如在各种指标上相差约 1%），且通常在统计上不显著，表明即使 ColBERT 接收到的 [MASK] 标记符数量超过预期也不会导致性能崩溃。