Transformer

sequence-to-sequence(seq2seq)

很大语音没有文本，7000种中超半数没有文字。

遇到的问题：

遇到问题时候可以先不管它，先出一个baseline看看效果，后续再进行提升。

tts： 文本转语音，语音合成
目前是两阶段：先用文本转成中文音标，再转成声音信号。

---

Seq2seq for chatbot

可以将大多数的NLP任务看做是Question Answering任务（QA），QA问题可以用seq2seq解决。定制化的模型比单一模型效果要好一点，但随着大模型的到来，效果可能会越好越好。感兴趣的可以继续学习下面课程。

Seq2seq for syntactic parsing

---

Seq2seq for Multi-label classification

机器自己决定输出多少个类别。

---

Seq2seq for object detection

硬解目标检测问题，输入是图像，输出是文本框及类别

–

Seq2seq 基本原理

包含两个部件，编码器encoder和译码器decoder

最早起源于14年，目前成熟结构是transformer结构。

Seq2seq’s Encoder

encoder的作用是将一个向量编码成另外一个向量，有很多部件都能完成该功能，比如self-attention，RNN，CNN，目前流行的是transformer。

block中的过程要更加复杂一点，将block的输出与输入叠加送到下一层，类似于残差结构，然后进行normalizaition，使用的是layer norm， 对每一层计算均值和标准差。

有很多变体：

在transformer中，batch normalization表现没有layer normalization表现好，作者又提出了PowerNorm。

---

Decoder-Autoregressive(AT)

begin是special token，然后经过softmax得到最大分数的结果“机”， 基于这两个输入输出“器”。以此类推，输入变多，再预测输出。decode的输入是前一个的输出。

中间有可能识别错误导致输出变错，但是会继续往下传下去。

将decoder中间状态遮盖起来后，encoder和decoder是差不多，只是multi-head上面加了mask。

之前的self-attention得到的时候需要考虑所有的信息。现在变成masked-self-attention， 就是不能考虑右边的信息。

为什么要加masked，是计算a2时候不知道a3，a4…，没法考虑右边的信息。

另外不知道输出的正确长度。


增加一个stop token 让其不一直无限推理下去。

Decoder-Non-autoregressive(NAT)

NAT不知道什么时候停，有两种方式：

• 训练一个长度分类器
• 直接输出，如果遇到end就忽略后续的结果

好处就是并行化，能一下子输出结果，比较能够控制输出的长度，但实际应用上一般而言NAT的效果比AT的效果要差，原因是Multi-modality。

Cross attention

encoder和decoder连接，通过cross attention进行连接

kv来自encoder，q来自decoder。

---

Train

每次decoder产生中文字时候做了一次分类问题。

每一个输出都会有cross entropy，所有的cross entropy的总和最小。
end也会参与计算。

输入的时候是给的正确答案，teacher forcing，正确答案当作decoder的输入。

Tips

Copy Mechanism

• char-bot
  
• summarization
  
  

Guided Attention

可以通过monotonic attention等方式避免上述这种问题。

Beam Search

每次选最大的是贪心的方式，如红色所示；但是如果走绿色的是最优的方式。
可以用beam search方法找到一个不是完全精准的解决方法。

beam search有时候是有用的，有时候是无用的。可以加一些随机性在decoder里面。
tts的时候，decoder中加一点noise，可能效果会变好。模型训练好后，测试的时候也要加noise。
Accept that nothing is perfect, true beauty lies in the cracks of imperfection.

optimizing Evaluation Metrics

blue score不好计算，遇到无法优化的时候，使用reinforcement learning（RL）硬来训练。

给一些错误的输入。