序列关系中作为注意力逆过程的冲突机制
计算与语言
2019-06-24 v2
摘要
注意力（attention）是一种通过比较两个中间表示的相似度来建模两个序列之间关系的高效方式。最初在神经机器翻译（NMT）中得以验证，如今在需要考虑序列间高效交互的所有自然语言理解（NLU）任务中已成为标准。然而，我们表明，由于其构成方式，注意力仅在给定的两个序列某处存在匹配时表现最佳。它不能很好地适应两个序列间无相似性或其关系为对比性的情况。我们提出一种冲突（Conflict）模型，其工作方式非常类似于注意力，但主要强调两个序列如何相互排斥，并最终通过实证展示该方法与注意力结合如何提升整体性能。
引用
@article{arxiv.1906.08593,
title = {Conflict as an Inverse of Attention in Sequence Relationship},
author = {Rajarshee Mitra},
journal= {arXiv preprint arXiv:1906.08593},
year = {2019}
}
备注
Accepted at HAI workshop for IJCAI 2019