通过图像级缩减对图像描述系统进行蜕变测试

图像描述（IC）技术被广泛用于以自然语言描述图像。近来，一些 IC 系统测试方法被提出。然而，这些方法仍依赖预标注信息，因而无法真正缓解测试中的 oracle 问题。此外，它们的方法人为操纵物体，可能生成不真实图像作为测试用例，从而导致测试意义较弱。第三，现有方法对源测试用例的合格性有各种要求，因而无法充分利用给定图像执行测试。为解决这些问题，本文中我们提出 REIC，利用图像裁剪和拉伸等图像级缩减变换对 IC 系统执行蜕变测试。REIC 不依赖预标注信息，而是使用定位方法将描述中的物体与图像中对应物体对齐，并检查变换后每个物体是否在描述中被正确描述或删除。借助图像级缩减变换，REIC 不人为操纵任何物体，从而可避免生成不真实的后续图像。此外，它消除了蜕变变换过程中对源测试用例合格性的要求，并降低了歧义、提升了后续测试用例间的多样性，进而使得测试可在任意测试图像上进行并揭示更多不同的有效违例。我们采用 REIC 测试五个流行的 IC 系统。结果表明，REIC 能充分利用所提供的测试图像生成具有良好真实性的后续用例，并有效检测出大量不同的违例，且无需任何预标注信息。