ROME：通过递归物体消融测试图像描述系统
软件工程
2023-08-01 v2
摘要
图像描述（IC）系统旨在生成图像中显著物体的文本描述。近年来，IC 系统日益融入我们的日常生活，例如为视障人士提供辅助以及 Microsoft Powerpoint 中的描述生成。然而，即便最前沿的 IC 系统（如 Microsoft Azure Cognitive Services）和算法（如 OFA）也可能产生错误描述，导致重要物体被错误描述、误解以及人身安全威胁。现有测试方法要么无法处理 IC 系统输出的复杂形式（即自然语言句子），要么生成不自然的图像作为测试用例。为解决这些问题，我们引入了递归物体消融（Recursive Object MElting, Rome），一种用于验证 IC 系统的新颖蜕变测试方法。不同于通过插入物体生成测试用例（易使生成图像不自然）的现有方法，Rome 消融（即移除并修复）物体。Rome 假设在物体消融后，图像描述中的物体集合包含生成图像描述中的物体集合。给定一幅图像，Rome 可递归移除其物体以生成不同的图像对。我们使用 Rome 测试了一个广泛采用的图像描述 API 和四种最先进（SOTA）算法。结果表明，Rome 生成的测试用例比 SOTA IC 测试方法看起来自然得多，且与原始图像的自然度相当。同时，通过使用 226 张种子图像生成测试对，Rome 以高精度（86.47%-92.17%）报告了共计 9,121 个错误问题。此外，我们进一步利用 Rome 生成的测试用例对 Oscar 进行再训练，提升了其在多个评估指标上的性能。
引用
@article{arxiv.2306.02228,
title = {ROME: Testing Image Captioning Systems via Recursive Object Melting},
author = {Boxi Yu and Zhiqing Zhong and Jiaqi Li and Yixing Yang and Shilin He and Pinjia He},
journal= {arXiv preprint arXiv:2306.02228},
year = {2023}
}
备注
Accepted by ISSTA 2023