多实例验证

我们探索了多实例验证,这是一种问题设置,其中查询实例针对一个包含异构、未知相关性的目标实例包进行验证。我们表明,基于注意力的多实例学习方法和标准验证方法(如孪生神经网络)的朴素改编不适合这种设置:直接将最先进的多实例学习方法和孪生网络相结合,被证明并不比简单的基线模型更好,有时甚至明显更差。我们推测这可能是由于目标包的表示未能融入查询实例所致,因此引入了一种名为“交叉注意力池化”的新池化方法。在CAP框架下,我们提出了两种新颖的注意力函数,以应对区分目标包中高度相似实例的挑战。通过在三个不同验证任务上的实证研究,我们证明CAP在分类准确率和检测关键实例的能力方面,都显著优于最先进的多实例学习方法的改编版本和基线。消融研究表明,识别关键实例的优越能力归功于新的注意力函数。我们在https://github.com/xxweka/MIV分享代码。