面向图像描述系统测试的语义保持对象布局重建工具 SPOLRE
软件工程
2024-07-29 v1
摘要
图像描述（IC）系统（如 Microsoft Azure Cognitive Service）将图像内容转换为描述性语言，但可能生成不准确的内容，导致误解。先进的测试技术如 MetaIC 和 ROME 旨在解决这些问题，但面临重大挑战。这些方法需要为详细注释进行大量手动工作，常常生成不真实的图像，既通过添加无关对象，又通过未能删除现有对象。此外，它们生成的测试套件有限，MetaIC 受限于插入特定对象，ROME 受限于狭窄的变体范围。我们引入 SPOLRE，这是一个用于 IC 系统测试中语义保持对象布局重建的新型自动化工具。SPOLRE 利用四种转换技术修改对象布局，而不改变图像的语义。这种自动化方法消除了对手动注释的需求，并创建了真实且多样化的测试套件。我们的测试显示，超过 75% 的调查受访者认为 SPOLRE 生成的图像比其他先进方法更真实。SPOLRE 在识别标题错误方面表现突出，在七个 IC 系统中检测到 31,544 个不正确的标题，平均精度达 91.62%，超过其他方法的 85.65% 准确率，识别的不正确标题数量为 17,160 个。值得注意的是，SPOLRE 在 Azure 中识别了 6,236 个独特问题，证明其对最先进的 IC 系统之一的有效性。
引用
@article{arxiv.2407.18512,
title = {SPOLRE: Semantic Preserving Object Layout Reconstruction for Image Captioning System Testing},
author = {Yi Liu and Guanyu Wang and Xinyi Zheng and Gelei Deng and Kailong Wang and Yang Liu and Haoyu Wang},
journal= {arXiv preprint arXiv:2407.18512},
year = {2024}
}