面向基于概念瓶颈的视频分类的自动概念提取

近期可解释深度学习模型的努力表明，基于概念的解释方法在标准端到端模型中取得了具有竞争力的准确率，并能够对从图像中提取的高层视觉概念进行推理与干预，例如识别鸟类分类中的翅膀颜色与喙长。然而，这些概念瓶颈模型依赖于一组必要且充分预定义的概念——这对于视频分类等复杂任务难以实现。对于复杂任务，标签及视觉元素间的关系跨越许多帧，例如识别鸟飞或捕猎——这需要具有不同抽象层级的概念。为此，我们提出CoDEx，一种自动概念发现与提取模块，严谨地组合出用于基于概念的视频分类的必要且充分的概念抽象集合。CoDEx从视频的自然语言解释中识别出丰富的复杂概念抽象，从而避免了对模糊概念集的预定义需求。为证明方法的可用性，我们构建了两个新的公开数据集，将现有复杂视频分类数据集与其标签的简短众包自然语言解释相结合。我们的方法从自然语言中提取固有的复杂概念抽象，将概念瓶颈方法推广至复杂任务。