面向阅读理解与逻辑推理任务的深度流形学习及多元组损失
计算与语言
2023-12-27 v4 人工智能
机器学习
摘要
当前开发用于阅读理解与逻辑推理任务的机器学习模型的趋势集中于提升模型理解和运用逻辑规则的能力。本工作致力于提供一种新颖的损失函数及配套的模型架构,其通过表征人类在面对阅读理解与逻辑推理任务时常采用的一种通用策略,从而具备比某些其他模型更具可解释性的组件。我们的策略强调相对准确率而非绝对准确率,并能在知识不完整的情况下从理论上得出正确答案。我们考察了该策略解决阅读理解与逻辑推理问题的有效性。模型在 ReClor 数据集(一个具有挑战性的阅读理解与逻辑推理基准)上进行了评估。我们提出了多元组损失函数(polytuplet loss),该函数强制优先学习答案选项的相对正确性,而非学习各选项的真实准确率。我们的结果表明,采用多元组损失的模型优于现有基线模型,尽管仍需进一步研究以量化其可能带来的益处。
引用
@article{arxiv.2304.01046,
title = {Deep Manifold Learning for Reading Comprehension and Logical Reasoning Tasks with Polytuplet Loss},
author = {Jeffrey Lu and Ivan Rodriguez},
journal= {arXiv preprint arXiv:2304.01046},
year = {2023}
}
备注
Accepted to FICC 2023, Revised to correct clerical errors