ProtoExplorer：基于原型探索与精炼的深度伪造视频可解释取证分析
人工智能
2023-09-21 v1
摘要
在高风险场景中，能够提供对人类可解释的预测的机器学习模型至关重要。随着具有海量可调参数的复杂基于深度学习的模型的出现，这一点更为真切。近来，基于原型的方法已成为使深度学习可解释的一种有前景的途径。我们特别关注取证语境下深度伪造视频的分析。尽管基于原型的方法已被引入用于深度伪造视频检测，其在真实场景中的使用仍面临重大挑战，即原型往往过度相似且不同原型间的可解释性存在差异。本文提出一种用于原型学习的可视化分析流程模型，并基于此提出 ProtoExplorer，一个用于基于原型的深度伪造检测模型探索与精炼的可视化分析系统。ProtoExplorer 在处理视频数据时提供用于可视化和时间过滤基于原型的预测的工具。它厘清了处理时空原型的复杂性，促进其可视化。它进一步支持通过交互式删除并替换原型来精炼模型，旨在实现更具可解释性且偏差更小的预测，同时保持检测精度。该系统与取证专家共同设计，并基于开放式出声思考评估与访谈在多轮次中进行了评估。这些环节确认了我们对深度伪造视频基于原型的探索的优势，同时也提供了持续改进系统所需的反馈。
引用
@article{arxiv.2309.11155,
title = {ProtoExplorer: Interpretable Forensic Analysis of Deepfake Videos using Prototype Exploration and Refinement},
author = {Merel de Leeuw den Bouter and Javier Lloret Pardo and Zeno Geradts and Marcel Worring},
journal= {arXiv preprint arXiv:2309.11155},
year = {2023}
}
备注
15 pages, 6 figures