适合我的方向未必适合你：基于多任务学习的相对方向定位数据集

理解空间关系对智能体在物理世界中行动与沟通至关重要。相对方向是描述目标物体相对于参考物体内在朝向的位置关系的空间关系。定位相对方向比定位绝对方向更困难，因为它不仅要求模型检测图像中的物体并基于该信息识别空间关系，还需要识别物体的朝向并将该信息整合进推理过程。我们研究利用端到端神经网络定位相对方向的挑战性问题。为此，我们提供GRiD-3D，一个具有相对方向特征并补充现有仅涉及绝对方向的视觉问答（VQA）数据集（如CLEVR）的新数据集。我们还使用两种成熟的端到端VQA模型为该数据集提供基线。实验评估表明，当数据集中的问题模拟定位相对方向所需的必要子任务时，回答相对方向问题是可行的。我们发现这些子任务以反映直观相对方向处理流程步骤的顺序被学习。