智能体嵌入：一种用于杆平衡网络的潜在表示
机器学习
2019-03-20 v4 人工智能
摘要
我们表明，可以将诸如神经网络智能体这样的高维对象降维为具有语义意义的低维向量表示，我们称之为智能体嵌入（agent embeddings），类似于词嵌入或人脸嵌入。这可以通过收集现有网络的样本、将其权重向量化，然后以监督方式在权重空间上学习生成模型来实现。我们以杆平衡任务 Cart-Pole 作为案例研究，表明可以在不直接访问 Cart-Pole 模拟器训练数据的情况下，从其智能体嵌入生成多个新的杆平衡网络。一般而言，学习到的嵌入空间有助于描绘给定任务的求解空间。我们在 Cart-Pole 的案例中观察到一个令人惊讶的发现：优秀的智能体尽管学习了相似的表示，却做出不同的决策；而糟糕的智能体在学习了不相似的表示的同时，做出相似（糟糕）的决策。在良好智能体与糟糕智能体的潜在嵌入之间进行线性插值，会产生一个生成具有中等性能网络的智能体嵌入，且性能可根据插值系数进行调节。在潜在空间中的线性外推也会带来性能提升，直至某一点。
引用
@article{arxiv.1811.04516,
title = {Agent Embeddings: A Latent Representation for Pole-Balancing Networks},
author = {Oscar Chang and Robert Kwiatkowski and Siyuan Chen and Hod Lipson},
journal= {arXiv preprint arXiv:1811.04516},
year = {2019}
}