RSL19BD 在 DBDC4 中的决策树与 LSTM 模型集成
摘要
RSL19BD(早稻田大学酒井实验室)参与了第四届对话崩溃检测挑战(DBDC4),并向英语和日语两个子任务各提交了五次运行。在这些运行中,我们分别沿用 RSL17BD 和 KTH 在第三届对话崩溃检测挑战(DBDC3)中的方法,采用基于决策树的模型和基于长短期记忆(LSTM-based)的模型。基于决策树的模型沿用 RSL17BD 的方法,但使用 RandomForestRegressor 替代 ExtraTreesRegressor。此外,它不再预测三个崩溃标签概率分布的均值与方差,而是直接预测每个标签的概率。基于 LSTM 的模型沿用 KTH 的方法,在架构上做了若干改动,并利用卷积神经网络(CNN)进行文本特征提取。此外,它不再以单一崩溃标签为目标并最小化分类交叉熵损失,而是以三个崩溃标签的概率分布为目标并最小化均方误差。运行 1 采用基于决策树的模型;运行 2 采用基于 LSTM 的模型;运行 3 对 5 个基于 LSTM 的模型进行集成;运行 4 对运行 1 和运行 2 进行集成;运行 5 对运行 1 和运行 3 进行集成。在英语数据上,运行 5 在 MSE (NB, PB, B) 上统计显著优于所有其他运行;在日语数据上,除运行 4 外,运行 5 在 MSE (NB, PB, B) 上统计显著优于所有其他运行(显著性水平 alpha = 0.05)。
引用
@article{arxiv.1905.01799,
title = {RSL19BD at DBDC4: Ensemble of Decision Tree-based and LSTM-based Models},
author = {Chih-Hao Wang and Sosuke Kato and Tetsuya Sakai},
journal= {arXiv preprint arXiv:1905.01799},
year = {2019}
}
备注
21 pages, 7 figures, Proceedings of Chatbots and Conversational Agents and Dialogue Breakdown Detection Challenge (WOCHAT+DBDC), IWSDS 2019; proceedings updated