概念动中: 面向可解释视频分类的时空概念瓶颈模型

概念瓶颈模型 (CBM) 通过围绕人类可理解的概念结构预测，从而实现可解释的图像分类，但将这一范式扩展到视频仍面临提取概念和在时间上对其建模的挑战。本文引入 MoTIF (Moving Temporal Interpretable Framework)，一种基于 transformer 的概念架构， operate on sequences of temporally grounded concept activations，通过对每个概念进行时空自注意力建模 individual concepts when they recur and how their temporal patterns contribute to predictions. 框架的核心是基于 VLM 的 class-conditioned concept discovery 模块，从训练视频中提取对象和动作导向的文本概念，yielding temporally expressive concept sets without manual concept annotation。在多个视频基准测试上，该组合在全局概念瓶颈方面有所改进，并在可解释概念瓶颈设置中保持与强大黑盒视频基线的竞争力，而我们报告的这些基线作为情境参考。代码可在 github.com/patrick-knab/MoTIF 获取。