パラメータ・重みとは

LLMの構造

モデル内部で計算に使われ、学習によって調整される数値です。重みはパラメータの代表的なものです。モデルの説明にある7Bや70Bは、通常、それぞれ約70億・700億個のパラメータを示します。

実務で確認すること

モデルを比較するときは、パラメータ数に加え、学習方法、量子化の有無、実際のタスクでの性能も確認します。MoEモデルでは、全体のパラメータ数と、1つのトークンの処理で使うパラメータ数が分けて示されることがあります。

参考資料

確認日:

用語一覧へ戻る