超越注意力范式：来自地理空间社交媒体数据的表示学习
计算与语言
2024-01-17 v3 社会与信息网络
摘要
尽管Transformer以其注意力驱动架构开创了语言建模的基石，但其对显式上下文信息的依赖凸显了其在隐性学习总体文本主题能力上的局限。本研究通过将社交媒体数据作为分布式模式的来源，挑战了性能基准测试的启发式范式。与依赖捕捉复杂长期依赖的网络形成鲜明对比，在线数据模型本身缺乏结构，被迫在聚合中检测潜在结构。为恰当表示这些抽象关系，本研究将经验性社交媒体语料库解构为其基本组成，分析了人口密集地区超过二十亿条推文。我们为每个城市创建词袋（Bag-of-Word）嵌入并比较其各自表示。研究发现，即使在噪声数据中，地理位置对在线交流也有显著影响，且无需依赖先进算法即可揭示隐藏见解。该证据在社会科学中呈现出有价值的地理空间意义，并挑战了复杂模型是自然语言模式识别先决条件的观念。这与质疑以绝对可解释性凌驾于抽象理解之上这一不断演进的图景相契合，并弥合了复杂框架与无形关系之间的鸿沟。
引用
@article{arxiv.2310.05378,
title = {Transcending the Attention Paradigm: Representation Learning from Geospatial Social Media Data},
author = {Nick DiSanto and Anthony Corso and Benjamin Sanders and Gavin Harding},
journal= {arXiv preprint arXiv:2310.05378},
year = {2024}
}