以案例研究评估专家系统辅助的文献综述

鉴于软件工程领域出版物数量庞大，需要频繁的文献综述以跟进特定领域的工作。文献综述中一项繁琐的工作是在数千个不相关的搜索结果中寻找相关研究。理论上，专家系统可辅助寻找相关工作，但这些系统主要在模拟中测试，而非应用于实际文献综述。因此，很少有研究者信任此类专家系统。据此，本文通过现实案例研究评估了我们最先进的专家系统在多大程度上可协助文献综述。所评估的文献综述旨在从 IEEE Xplore 上 8,349 篇论文中识别用于自动化 UI 测试的测试用例优先级排序技术。该语料库使用集成了增量更新的人在回路主动学习工具的专家系统进行研究。借助该专家系统，我们在三小时内找到了 242 篇相关论文，从中识别出 12 种在缺乏源代码信息时测试用例优先级排序的先进技术。随后由另外六名研究生手动探索相同语料库对这些结果进行验证。若无专家系统，该任务将需 53 小时并多找到 27 篇论文。即，与常规手动方法相比，我们的专家系统以 6% 的人力成本实现了 90% 的查全率。显著的是，专家系统与手动方法识别出了相同的 12 种先进测试用例优先级排序技术。即，专家系统遗漏的 27 篇论文不会改变文献综述的结论。因此，若该结果可推广，则支持使用我们的专家系统辅助文献综述。