基于 Transformer 的情感分析分类网络的有效黑盒测试

Transformer 基于的神经网络在自然语言处理任务中，如情感分析，展现出卓越的性能。然而，如何通过全面的测试来确保这些复杂体系结构的可靠性仍是一个未解决的问题。本文提出了一套针对基于 Transformer 的情感分析网络所设计的测试套件的覆盖准则。我们的方法采用输入空间分区，即一种黑箱方法，通过考虑情感相关的语言特征，如动词、形容词、副词和名词。为了有效地生成涵盖广泛情感元素范围的测试用例，我们利用 k 投影覆盖度量。该度量通过同时检查 k 个特征的子集来最小化问题的复杂性，从而降低维度。大型语言模型用于生成显示特定情感特征组合的句子。来自情感分析数据集的实验结果表明，我们的覆盖准则和生成的测试导致了平均测试覆盖率提升 16%。此外，模型准确率相应下降 6.5%，表明能够识别漏洞。我们的工作为通过全面的测试评估来提高基于 Transformer 的情感分析系统可靠性提供了基础。