参考自：http://fancyerii.github.io/2019/03/09/transformer-codes/
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
每个词都是有其他词的信息的，这个是 FNN 的区别
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
与普通的 attention 相比，Query可以看作是decoder的隐状态，Key可以看作是encoder的输出，Value可以看作是encoder的输出
在这里插入图片描述
在这里插入图片描述
多头其实就是多组 矩阵对，每一组QKV都可以看作某种信息的抽取
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
如上，句子中词的绝对位置编码可能并不能完全反应位置信息，所以采用了相对位置编码
在这里插入图片描述
以上相对位置编码保证了比较好的相对位置的关系，可以作进一步了解
在这里插入图片描述
残差连接和 layernorm
在这里插入图片描述
在这里插入图片描述
解码时，decoder不能利用未知信息，所以引入mask矩阵，遮掩后面词的信息
在这里插入图片描述

Logo
技术共进，成长同行——讯飞AI开发者社区

技术共进，成长同行——讯飞AI开发者社区

更多推荐

企业AI Agent的情感智能：提升员工体验与忠诚度

随着人工智能技术的飞速发展，企业AI Agent在企业运营中的应用越来越广泛。本研究的目的在于深入探讨企业AI Agent的情感智能如何对员工体验和忠诚度产生积极影响。具体范围涵盖了情感智能的理论基础、相关算法原理、实际应用场景以及在企业环境中的实践案例等方面。通过研究，旨在为企业提供切实可行的方案，利用AI Agent的情感智能提升员工的工作满意度和忠诚度，进而促进企业的长期发展。本文共分为十个

avatar 讯飞AI开发者社区

AI与大数据如何推动精准农业与智能化种植

在全球农业面临着越来越严峻的环境挑战、人口增长压力以及土地资源紧张等问题时，技术创新成为了农业发展的重要推动力。人工智能（AI）和大数据正引领着农业进入一个“智能化”新时代，精准农业已经成为农业现代化的标志。今天，我们就来探讨这两项技术如何推动精准农业和智能化种植。

avatar 讯飞AI开发者社区

不容忽视！提示工程架构师在Agentic AI实证研究的重要突破

Agentic AI是当前人工智能发展的核心方向之一，其核心特征是自主性（Autonomy）——即AI能主动设定目标、规划任务、调用工具、与环境交互，并在动态场景中调整策略。从AutoGPT、Meta AI的CICERO，到谷歌的SayCan、微软的AutoGen，Agentic AI已在科研、金融、医疗、工业等领域展现出颠覆潜力：例如，DeepMind的AlphaFold通过Agentic系统自

avatar 讯飞AI开发者社区