人机循环 Oracle 学习中噪声标签测试用例的隔离
软件工程
2025-06-17 v1
摘要
错误标签的测试用例会对人机循环 oracle 技术的训练过程产生不利影响。本文提出 ISONOISE，一种用于识别人机循环 oracle 学习过程中引入的错误标签测试用例的技术。该技术可应用于以数值输入为输入的程序。给定一个受损的自动测试预言机及其训练测试套件，ISONOISE 首先隔离疑似错误标签的测试用例。该任务基于测试用例与其他用例的不一致程度来执行。基于轻微不一致的测试用例训练一个中间自动测试预言机。根据该中间预言机的预测，疑似错误标签的测试用例被系统地提交给重新标注。当发现错误标签的测试用例时，中间测试预言机随之更新。该过程重复进行，直到重新标注中不再发现错误标签的测试用例。ISONOISE 在 LEARN2FIX 所使用的人机循环 oracle 学习方法中进行了评估。实验结果表明，ISONOISE 能够以超过 67% 的准确率识别 LEARN2FIX 中人工引入的错误标签测试用例，同时仅需少量重新标注查询。这些发现凸显了 ISONOISE 提升人机循环 oracle 学习可靠性的潜力。
引用
@article{arxiv.2506.13273,
title = {Isolating Noisy Labelled Test Cases in Human-in-the-Loop Oracle Learning},
author = {Charaka Geethal Kapugama},
journal= {arXiv preprint arXiv:2506.13273},
year = {2025}
}
备注
2025 International Research Conference on Smart Computing and Systems Engineering (SCSE)