基于 LLM 的运动轨迹生成与验证的自洫性
计算机视觉与模式识别
2026-04-01 v1
摘要
自洫性已被证明是一种有效的技术，可无监督地以轻量级方式提高 LLM 在自然语言推理任务上的性能。本文研究如何将自洫性应用于视觉领域。具体而言，我们考虑 LLM 生成的运动图形轨迹的生成与验证。给定一个提示（例如“将圆�着螺旋路径移动”），我们首先从 LLM 中抽样获取多样化的运动轨迹，然后通过聚类识别一组一致的轨迹。我们的关键洞察是将与提示相关的形状系列建模为原型轨迹配合一组几何变换（例如刚性变换、相似变换和仿射变换）。两个轨迹如果可以经由允许的变换组中的变换实现相互转换，则可视为一致。我们提出了一种自动恢复形状系列的算法，利用一组候选变换组之间的层次关系。我们的方法将 LLM 基于轨迹的生成准确率提高了 4-6%。我们进一步扩展了该方法以支持验证，在 VLM 框架基线上实现了 11% 的精度提升。我们的代码和数据集可在 https://majiaju.io/trajectory-self-consistency 获取。
引用
@article{arxiv.2603.29301,
title = {Self-Consistency for LLM-Based Motion Trajectory Generation and Verification},
author = {Jiaju Ma and R. Kenny Jones and Jiajun Wu and Maneesh Agrawala},
journal= {arXiv preprint arXiv:2603.29301},
year = {2026}
}
备注
Accepted to CVPR 2026