物体状态与操作动作的联合发现

许多人类活动涉及旨在改变物体状态的操作。常见状态变化的例子包括满/空瓶子、开/关门以及安装/拆卸的汽车车轮。本工作中，我们力求自动发现物体状态及相关的操作动作。给定特定任务的一组视频，我们提出一种联合模型，学习识别物体状态并定位改变状态的动作。我们的模型被表述为带约束的判别式聚类代价。我们假设物体状态与操作动作的变化具有一致的时间顺序，并引入新的优化技术以在无额外监督下学习模型参数。我们在描绘真实生活物体操作的新视频数据集上展示了成功发现七种操作动作及相应物体状态。我们表明，我们的联合公式化通过动作识别改进了物体状态发现，反之亦然。