ObjectAlign：面向对象一致性验证与纠正的神经符号方法
计算机视觉与模式识别
2025-11-25 v1 人工智能
形式语言与自动机理论
机器学习
摘要
视频编辑与合成常会引入对象不一致问题，如帧级闪烁和身份漂移，影响感知质量。为此，我们提出ObjectAlign，一种新型框架，无缝融合感知指标与符号推理，实现对编辑后视频序列中对象级及时序不一致性的检测、验证与纠正。ObjectAlign的主要贡献如下：首先，我们提出可学习的阈值，用于衡量对象一致性的指标（即CLIP基的语义相似性、LPIPS感知距离、直方图相关性及SAM派生对象掩码IoU）。其次，我们引入神经符号验证器，其包含两个组件：（a）基于SMT的检查，针对掩码对象嵌入进行形式化验证，确保对象身份不漂移；（b）时序保真度检查，利用概率模型检查器验证视频的形式化表示是否满足时序逻辑规范。随后，基于单一逻辑断言判定帧转换是否“一致”，该断言要求同时满足学习的指标阈值和统一的神经符号约束，确保低层稳定性与高层时序正确性。最后，针对每一连续的标记帧块，我们提出基于神经网络的插值方法，用于自适应帧修复，根据待修复帧数动态选择插值深度，从而从最近的有效关键帧和下一个有效关键帧之间重建损坏帧。实验结果表明，在DAVIS和Pexels视频数据集上，我们的方法在CLIP Score上提升最高可达1.4分，在warp error上提升最高可达6.1分。
引用
@article{arxiv.2511.18701,
title = {ObjectAlign: Neuro-Symbolic Object Consistency Verification and Correction},
author = {Mustafa Munir and Harsh Goel and Xiwen Wei and Minkyu Choi and Sahil Shah and Kartikeya Bhardwaj and Paul Whatmough and Sandeep Chinchali and Radu Marculescu},
journal= {arXiv preprint arXiv:2511.18701},
year = {2025}
}