Transformer紹介


本資料は2021年04月13日に社内共有資料として展開していたものをWEBページ向けにリニューアルした内容になります。



■目次

 

●Transformerの概要

●Transformerの各構造解説

  1. Positional Encoding

  2. Attention

  3. Multi-headed Scaled Dot-Product Self-Attetion

  4. Shortcut Connection, Layer Normalization, Position-wise Feedforward Network

  5. TransformerのDecoder

●Transformerの実験結果・考察



■[概要] Transformerって何?

 

2017年の論文Attention Is All You Need[1]で発表されたモデル

機械翻訳タスクにおいて既存SOTAよりも高いスコアを記録

Reference



■[概要] Transformerの他分野への応用

 

Reference