隐形相关性偏置：图文检索模型偏好 AI 生成图像

随着生成模型的发展，AI 生成内容（AIGC）愈发逼真并充斥互联网。最近一项研究表明，该现象导致网页搜索中文本检索的源偏置，具体而言，神经检索模型倾向于将生成文本排在人工撰写文本之前。本文将此类偏置研究扩展至跨模态检索。首先，我们成功构建了合适的基准以探究该偏置的存在。在此基准上的大量实验揭示，AI 生成图像给图文检索模型引入了隐形相关性偏置：具体而言，实验表明图文检索模型倾向于将 AI 生成图像排在真实图像之前，即便 AI 生成图像并未展现出比真实图像与查询更相关的视觉特征。该隐形相关性偏置在具有不同训练数据与架构的检索模型中普遍存在。此外，后续探索发现，在检索模型训练数据中纳入 AI 生成图像会加剧隐形相关性偏置。上述现象引发恶性循环，使隐形相关性偏置愈发严重。为阐明隐形相关性的潜在成因并解决上述问题，我们引入一种有效的训练方法以缓解隐形相关性偏置。随后，我们将所提去偏方法反推用于识别隐形相关性的成因，揭示 AI 生成图像诱使图像编码器在其表示中嵌入额外信息；该信息在不同语义的生成图像间表现出一定一致性，并可使检索器估计出更高的相关性分数。