从另一视角看视觉问答：CLEVR 心理旋转测试
机器学习
2022-12-06 v1 计算机视觉与模式识别
机器学习
摘要
不同类型的心理旋转测试已被心理学广泛用于理解人类视觉推理与感知。理解物体或视觉场景从另一视角看会是什么样子是一个具有挑战性的问题，若仅从单张图像出发则更为困难。我们探索了一种受控设定，即对若从另一视角观察某场景时该场景的属性提出问题。为此，我们创建了 CLEVR 数据集的新版本，称为 CLEVR 心理旋转测试（CLEVR-MRT）。利用 CLEVR-MRT，我们考察了标准方法，展示其不足，进而探索涉及推断场景体素表示的新颖神经架构。这些体素可通过相机条件变换进行操作以回答问题。我们通过严格的消融实验检验不同模型变体的效能，并证明了体素表示的有效性。
引用
@article{arxiv.2212.01639,
title = {Visual Question Answering From Another Perspective: CLEVR Mental Rotation Tests},
author = {Christopher Beckham and Martin Weiss and Florian Golemo and Sina Honari and Derek Nowrouzezahrai and Christopher Pal},
journal= {arXiv preprint arXiv:2212.01639},
year = {2022}
}
备注
Accepted for publication to Pattern Recognition journal