从眨眼到状态构建：在线表示学习的诊断基准
人工智能
2022-10-12 v4
摘要
我们提出了三个受经典条件作用实验启发的新型诊断预测问题，以促进在线预测学习的研究。经典条件作用实验表明，兔、鸽、狗等动物能够建立长时程关联，从而实现多步预测。要复制这一非凡能力，智能体必须构建一个总结其交互历史的内在状态表示。循环神经网络能够自动构建状态并学习时序关联。然而，当前的训练方法对于在线预测——即每个时间步上的持续学习——而言计算代价过高，而这正是本文的重点。我们提出的问题测试了动物轻易展现的学习能力，并凸显了当前循环学习方法的局限性。尽管所提问题并非平凡，它们仍适用于在小计算量条件下进行广泛测试与分析，从而使研究者能够孤立地研究问题，最终加速可扩展在线表示学习方法的发展。
引用
@article{arxiv.2011.04590,
title = {From Eye-blinks to State Construction: Diagnostic Benchmarks for Online Representation Learning},
author = {Banafsheh Rafiee and Zaheer Abbas and Sina Ghiassian and Raksha Kumaraswamy and Richard Sutton and Elliot Ludvig and Adam White},
journal= {arXiv preprint arXiv:2011.04590},
year = {2022}
}