ACTesting：文生图软件的自动化跨模态测试方法

近年来，创意生成式人工智能软件已成为关键助手，使用户能够快速生成内容并寻找灵感。文生图（T2I）软件是最广泛使用的软件之一，它通过跨模态过程将文本输入合成为图像。然而，尽管T2I引擎取得了重大进展，但T2I软件在生成复杂或非现实场景时仍会遇到错误，包括遗漏焦点实体、图像真实感低以及文本与图像信息不匹配。T2I软件的跨模态特性使传统测试方法的错误检测变得复杂，而测试预言机的缺失进一步加剧了测试过程的复杂性。为了填补这一空白，我们提出了ACTesting，一种文生图软件的自动化跨模态测试方法，这是首个明确为T2I软件设计的测试方法。ACTesting利用蜕变测试原则来解决预言机问题，并通过采用实体-关系（ER）三元组，将跨模态语义一致性确定为其基本蜕变关系（MR）。我们在MR和适应性密度约束的指导下设计了三种变异算子，以构建新的输入文本。在基于文本生成图像后，ACTesting通过检测两种模态间的ER三元组来验证是否满足MR，从而检测T2I软件的错误。我们在五种流行的T2I软件上进行的实验表明，ACTesting有效地生成了揭示错误的测试，与基线相比，文本与图像的一致性最多降低了20%。此外，消融实验证明了所提出的变异算子的有效性。实验结果验证了ACTesting能够可靠地识别T2I软件中的错误。