调谐权重：初始矩阵配置对后继特征学习效能的影响
神经元与认知
2024-02-08 v2 神经与进化计算
摘要
本研究的重点是探究后继特征（SF）权重矩阵的不同初始化策略对强化学习（RL）智能体学习效率和收敛性的影响。我们使用网格世界范式，比较了SF权重矩阵分别用单位矩阵、零矩阵或随机生成矩阵（使用Xavier、He或均匀分布方法）初始化的RL智能体的性能。我们的分析围绕评估价值误差、步长、后继表征（SR）位置野的主成分分析（PCA）以及不同智能体之间SR矩阵的距离等指标展开。结果表明，使用随机矩阵初始化的RL智能体能更快达到最优SR位置野，并展现出更快的价值误差下降，表明学习效率更高。此外，这些随机初始化的智能体在更大的网格世界环境中也表现出步长更快的减小。本研究对这些结果的神经生物学解释、它们对理解智能的启示以及潜在的未来研究方向提供了见解。这些发现可能对人工智能领域，特别是学习算法的设计，产生深远影响。
引用
@article{arxiv.2111.02017,
title = {Tuning the Weights: The Impact of Initial Matrix Configurations on Successor Features Learning Efficacy},
author = {Hyunsu Lee},
journal= {arXiv preprint arXiv:2111.02017},
year = {2024}
}
备注
12 pages, 8 figures including 2 supplementary figures