注意力真的是我们所需要的一切吗？机器学习中统一的认知与伦理意蕴
机器学习
2022-05-18 v1
摘要
“Attention is all you need”已成为机器学习研究中的基本准则。Transformer 及其底层的注意力机制最初为机器翻译而设计，如今在许多问题领域取得了成功。鉴于 Transformer 在不同领域显而易见的成功，许多研究者感到兴奋，因为相似的模型架构能够成功部署于视觉、语言及其他领域的各种应用中。我们从认知和伦理两方面考量这些统一浪潮的益处与风险。在认知方面，我们论证支持自然科学中统一的许多论点无法转移到机器学习情形中，或者仅在可能不成立的假设下才能转移。统一还引入了与可移植性、路径依赖、方法论多样性和增加黑盒化相关的认知风险。在伦理方面，我们讨论了源于认知问题的风险，包括进一步边缘化代表性不足的观点、权力集中，以及在更多应用领域拥有更少的模型。
关键词
引用
@article{arxiv.2205.08377,
title = {Should attention be all we need? The epistemic and ethical implications of unification in machine learning},
author = {Nic Fishman and Leif Hancox-Li},
journal= {arXiv preprint arXiv:2205.08377},
year = {2022}
}
备注
Forthcoming in FAccT 2022