驾驭幻觉以进行非故意活动推理
计算机视觉与模式识别
2024-03-05 v2
摘要
在本工作中，我们提出了一项理解视频中人类非故意活动的新任务。我们将此问题形式化为零样本场景下的推理任务，即给定一个非故意活动的视频，我们要探究其为何从有意过渡到无意。我们首先评估了当前最先进的大多模态模型在此推理任务上的有效性，并观察到它们存在幻觉问题。我们进一步提出了一种名为“思维之梦”（Dream of Thoughts, DoT）的新型提示技术，该技术允许模型穿越幻觉思维以实现更好的推理。为了评估在此任务上的性能，我们还引入了三种专门设计的指标，旨在量化模型的推理能力。我们在 OOPs 和 UCF-Crimes 两个不同数据集上进行了实验，研究结果表明，DoT 提示技术能够在最小化幻觉的同时，优于标准提示技术。
引用
@article{arxiv.2402.19405,
title = {Navigating Hallucinations for Reasoning of Unintentional Activities},
author = {Shresth Grover and Vibhav Vineet and Yogesh S Rawat},
journal= {arXiv preprint arXiv:2402.19405},
year = {2024}
}