房产网站建设网站推广巢湖城市建设投资有限公司网站

Transformer - model architecture

flyfish

Transformer总体架构可分为四个部分:
输⼊部分
输出部分
编码器部分
解码器部分

输入部分

输出部分

输⼊部分包含:
源嵌⼊层和位置编码
⽬标嵌⼊层和位置编码

输出部分包含:
线性层
softmax处理器

左侧编码器部分和右侧解码器部分

编码器部分:
由N个编码器层堆叠⽽成
每个编码器层由两个⼦层连接结构组成

解码器部分:
由N个解码器层堆叠⽽成
每个解码器层由三个⼦层连接结构组成