自适应循环视觉在零样本计算扩展至未见难度级别上的表现
计算机视觉与模式识别
2023-11-14 v1 机器学习
摘要
人类在解决算法（或）推理问题时，其求解时间通常随问题难度增加而增长。自适应循环神经网络已在多种语言处理任务中表现出该特性。然而，关于此类自适应计算是否也能使视觉模型外推至训练分布难度级别之外的解决方案，已有研究甚少，且先前工作集中于极简单的任务。本研究利用循环神经网络考察此类自适应处理的一个关键功能作用：根据输入需求动态调配计算资源，从而借助两个具有挑战性的视觉推理任务——PathFinder 和 Mazes，实现向训练时未见的难度级别零样本泛化。我们将卷积循环神经网络（ConvRNNs）与基于 Graves (2016) 的可学习停止机制相结合，探索了多种此类自适应 ConvRNNs（AdRNNs）的实现，从跨层权值绑定的简单形式，到具有侧向连接与门控的、受生物学启发的更复杂循环网络。我们表明：1) AdRNNs 学会动态提早（或推迟）停止处理以解决更易（或更难）的问题；2) 这些 RNN 通过在测试时动态增加循环迭代次数，零样本泛化至训练时未出现的更难问题设定。我们的研究为以下假设提供了建模证据：循环处理带来了依据输入需求自适应分配计算资源的功能优势，从而允许在不训练的情况下泛化到视觉推理问题更难的难度级别。
引用
@article{arxiv.2311.06964,
title = {Adaptive recurrent vision performs zero-shot computation scaling to unseen difficulty levels},
author = {Vijay Veerabadran and Srinivas Ravishankar and Yuan Tang and Ritik Raina and Virginia R. de Sa},
journal= {arXiv preprint arXiv:2311.06964},
year = {2023}
}
备注
37th Conference on Neural Information Processing Systems (NeurIPS 2023)