引导我：与深度网络的交互
计算机视觉与模式识别
2018-04-02 v1
摘要
随着机器学习方法进入涉及终端用户的现实世界应用，人与智能机器之间的交互与协作变得日益重要。尽管大量先前工作位于自然语言和视觉的交叉领域，例如图像描述或基于文本描述的图像生成，但较少关注利用语言来引导或提升已学习视觉处理算法的性能。本文中，我们探索在推理过程中通过用户输入灵活引导训练好的卷积神经网络以提升其性能的方法。为此，我们插入一个作为空间-语义引导的层进入网络。该引导被训练来修改网络的激活，要么直接通过能量最小化方案，要么间接地通过一个将人类语言查询翻译为交互权重的循环模型。语言交互的学习是完全自动的，不需要人工文本标注。我们在两个数据集上评估该方法，表明引导预训练网络可以提升性能，并提供了关于引导与 CNN 之间交互的深入见解。
引用
@article{arxiv.1803.11544,
title = {Guide Me: Interacting with Deep Networks},
author = {Christian Rupprecht and Iro Laina and Nassir Navab and Gregory D. Hager and Federico Tombari},
journal= {arXiv preprint arXiv:1803.11544},
year = {2018}
}
备注
CVPR 2018