将信息瓶颈归因扩展至视频序列
计算机视觉与模式识别
2025-01-29 v1 人工智能
摘要
我们提出了VIBA（Video Information Bottleneck Attribution），一种用于视频分类的可解释方法，通过适应信息瓶颈归因（IBA）框架处理视频序列。虽然大多数传统可解释方法专为图像模型设计，但本IBA框架满足视频分析中时序模型的可解释性需求。为证明其有效性，我们将VIBA应用于视频深度伪造检测任务，并在两种网络架构上进行测试：一种是用于提取空间特征的Xception模型，另一种是基于VGG11的模型，通过光流捕获运动动态。我们采用自建数据集，反映最新的深度伪造生成技术，并根据IBA框架创建相关性图和光流图，直观地标记被操纵的区域和运动不一致之处。我们的实验结果表明，VIBA生成的解释在时空上具有一致性，与人类标注高度吻合，从而为视频分类任务（特别是深度伪造检测）提供了可解释性。
引用
@article{arxiv.2501.16889,
title = {Extending Information Bottleneck Attribution to Video Sequences},
author = {Veronika Solopova and Lucas Schmidt and Dorothea Kolossa},
journal= {arXiv preprint arXiv:2501.16889},
year = {2025}
}