通过概念激活向量在视频世界模型中进行因果物理操控
计算机视觉与模式识别
2026-05-26 v1
摘要
视频世界模型学习物理动力学的表征，但在推理时控制其物理期望仍然是一个未解决的问题。最近的可解释性工作识别出一个物理涌现区（PEZ），即VideoMAE中一组中间Transformer层，其中物理合理性与其他视觉特征分开表征。然而，尚不清楚这种结构是否可用于直接控制模型的物理推理。我们提出了物理操控，一种无需训练的方法，该方法使用PEZ层线性探测器的权重向量作为概念激活向量（CAV），并在推理期间将其注入隐藏状态。这在不改变任何模型权重的情况下改变了模型的物理期望。在IntPhys基准测试上，这种干预根据操控符号可靠地将模型的合理性判断向任一方向移动。只有当干预应用于物理涌现区内时，这种效应才会出现，表明相关的物理表征局限于此。我们进一步发现，物理与运动方向是分开编码的，并且不同的直觉物理原理在该表征空间内占据不同的方向。这些结果共同表明，VideoMAE中的物理推理不仅是可读的，而且是可直接操控的。
引用
@article{arxiv.2605.24322,
title = {Causal Physics Steering in Video World Models via Concept Activation Vectors},
author = {Nahid Alam},
journal= {arXiv preprint arXiv:2605.24322},
year = {2026}
}
备注
In proceedings of CVPR 2026 workshop on Video World Model