什么是Transformer

Transformer是一個面向sequence to sequence任務(wù)的模型，在17年的論文《Attention is all you need》中首次提出。Transformer 是第一個完全依賴自注意力（self-attention）來計算輸入和輸出的表示，而不使用序列對齊的遞歸神經(jīng)網(wǎng)絡(luò)或卷積神經(jīng)網(wǎng)絡(luò)的轉(zhuǎn)換模型。

sequence to sequence

Seq2Seq模型是輸出的長度不確定時采用的模型，這種情況一般是在機器翻譯的任務(wù)中出現(xiàn)，將一句中文翻譯成英文，那么這句英文的長度有可能會比中文短，也有可能會比中文長，所以輸出的長度就不確定了。

Transformer的結(jié)構(gòu)