理解噪声对比估计中的难负例

负例的选择在噪声对比估计中十分重要。近期工作发现，难负例——即模型下得分最高的错误样例——在实践中有效，但其使用缺乏形式化依据。我们开发分析工具以理解难负例的作用。具体而言，我们将对比损失视为交叉熵损失梯度的有偏估计量，并从理论与经验上表明，将负例分布设为模型分布可减小偏差。我们还推导了统一文本检索中各类架构的得分函数一般形式。通过将难负例与恰当的得分函数结合，我们在零样本实体链接这一挑战性任务上取得了强劲结果。