束树递归单元
机器学习
2023-06-21 v3 人工智能
计算与语言
摘要
我们提出束树递归单元(BT-Cell)——一个对反向传播友好的框架，用于通过束搜索扩展递归神经网络(RvNNs)以进行潜结构归纳。我们进一步通过提出对束搜索中硬top-k算子的松弛来改进该框架，以更好地传播梯度信号。我们在合成和真实数据不同的分布外划分上评估所提模型。我们的实验表明，BTCell在多个具有挑战性的结构敏感合成任务（如ListOps和逻辑推理）上达到近乎完美的性能，同时在真实数据上与其他基于RvNN的模型保持相当的性能。此外，我们识别出一个先前未知的神经模型在泛化到ListOps中未见参数数量时的失败案例。代码可在：https://github.com/JRC1995/BeamTreeRecursiveCells获取。
引用
@article{arxiv.2305.19999,
title = {Beam Tree Recursive Cells},
author = {Jishnu Ray Chowdhury and Cornelia Caragea},
journal= {arXiv preprint arXiv:2305.19999},
year = {2023}
}
备注
Accepted in ICML 2023