Transformerの仕組みをビジュアルで解説
原題: Transformers Explained Visually
なぜ重要か
LLMの「ブラックボックス」批判が続く中、アーキテクチャを誰でも追体験できるツールは技術リテラシーの底上げに直結する。
ジョージア工科大学のPolo Clubが公開した「Transformer Explainer」は、GPT-2（小型・1億2400万パラメーター）を使い、LLMの内部動作をブラウザ上でインタラクティブに可視化するツールだ。Tokenization、Attention機構、MLP層、出力確率まで、テキスト生成の全工程をステップごとに視覚的に示す。
「Transformer Explainer」は、Polo Club of Data Science（ジョージア工科大学）が開発・公開したインタラクティブな教育ツールだ。ブラウザ上で動作し、インストール不要。ユーザーが入力したテキストプロンプトをもとに、Transformerがどのように次のトークンを予測するかをリアルタイムで可視化する。
搭載モデルはGPT-2（small）。パラメーター数は1億2400万で、最新モデルと比べれば小規模だが、現代のGPT-4やLlama、Geminiといった大規模モデルと同じ基本アーキテクチャを踏襲しており、学習用途として適切な選択だとチームは説明する。
ツールが可視化する処理の流れは以下の通りだ。まず入力テキストを「トークン」に分割するTokenization（GPT-2の語彙数は5万257）、次にトークンを数値ベクトルへ変換するToken Embedding、そこに位置情報を付加するPositional Encoding、そして各Transformer BlockでのAttention機構とMLP層の処理、最後にSoftmax関数による出力確率の算出——という一連のステップが、パラメーターの数値とともに画面上に展開される。
Temperature、Top-k、Top-pといったサンプリングパラメーターも調整可能で、値を変えると予測トークンの分布がどう変わるかを即座に確認できる。Attentionがどのトークン間で強く働くかをヒートマップ形式で示す機能もある。
2017年にGoogle Brainが発表した論文「Attention Is All You Need」で提唱されたTransformerは、テキスト生成にとどまらず音声生成、画像認識、タンパク質構造予測、ゲームプレイなど幅広い分野に応用が広がっている。同ツールはその根幹にある自己注意機構を直感的に理解できる入り口として位置付けられている。