Attentionを中心に、入力中の情報の関係を扱うニューラルネットワークの構造です。多くのLLMの基盤に使われており、文章を読み取るモデルや続きを生成するモデルなどに応用されています。
実務で確認すること
モデルの仕様では、エンコーダー型、デコーダー型、両者を組み合わせた型などが登場します。文章を生成するLLMではデコーダー型がよく使われます。モデル名だけでなく構造を確認すると、そのモデルがどのような処理を得意とするか理解しやすくなります。
参考資料
確認日:
LLMの構造
Attentionを中心に、入力中の情報の関係を扱うニューラルネットワークの構造です。多くのLLMの基盤に使われており、文章を読み取るモデルや続きを生成するモデルなどに応用されています。
モデルの仕様では、エンコーダー型、デコーダー型、両者を組み合わせた型などが登場します。文章を生成するLLMではデコーダー型がよく使われます。モデル名だけでなく構造を確認すると、そのモデルがどのような処理を得意とするか理解しやすくなります。
確認日: