网站建设专员工作总结网页设计班级网站怎么做

激活函数的主要作用是在网络中加入非线性变换

梯度消失

梯度爆炸

FeedForward层

Transformer结构：
Transformer结构主要分为两大部分：

• 一是Encoder层结构：Encoder 的输入由 Input Embedding 和 Positional Embedding 求和输入Multi-Head-Attention，然后又做了一个ADD&Norm，再通过Feed Forward进行输出
• 另一个则是Decoder层结构

FeedForward的输入:是Multi-Head Attention的输出做了残差连接和Norm之后得数据，然后FeedForward做了两次线性线性变换，为的是更加深入的提取特征。

它由两个线性变换组成，中间有一个 ReLU 激活
在Multi-Head Attention中，主要是进行矩阵乘法，即都是线性变换，而线性变换的学习能力不如非线性变换的学习能力强，FeedForward的计算公式如下：max相当于Relu