论 RNN 隐状态向量与语义真值之间的关系
机器学习
2023-06-30 v1
摘要
我们考察了循环神经网络（RNN）隐状态向量倾向于形成语义相似向量簇的假设，称之为聚类假设。尽管该假设近年来在 RNN 分析中被默认成立，但其有效性尚未在现代神经网络架构上得到充分研究。我们在训练用于识别正则语言的 RNN 背景下检验聚类假设。这使我们能在评估中借助完美的真值自动机，并据此比较 RNN 的准确率与隐状态向量的分布。我们首先考察 RNN 隐状态向量按语义不同类别的（分段线性）可分离性。继而使用多种前沿无监督聚类方法在隐状态向量空间上计算簇。我们通过判定簇是否将语义相似向量归为真值模型中同一状态，形式化分析了所得聚类函数的准确性及聚类假设的有效性。我们的评估在多数考察案例中支持聚类假设的有效性。我们观察到训练良好的 RNN 隐状态向量是可分离的，且无监督聚类技术能成功找到相似状态向量的簇。
引用
@article{arxiv.2306.16854,
title = {On the Relationship Between RNN Hidden State Vectors and Semantic Ground Truth},
author = {Edi Muškardin and Martin Tappler and Ingo Pill and Bernhard K. Aichernig and Thomas Pock},
journal= {arXiv preprint arXiv:2306.16854},
year = {2023}
}