モデル内部で計算に使われ、学習によって調整される数値です。重みはパラメータの代表的なものです。モデルの説明にある7Bや70Bは、通常、それぞれ約70億・700億個のパラメータを示します。
実務で確認すること
モデルを比較するときは、パラメータ数に加え、学習方法、量子化の有無、実際のタスクでの性能も確認します。MoEモデルでは、全体のパラメータ数と、1つのトークンの処理で使うパラメータ数が分けて示されることがあります。
参考資料
確認日:
LLMの構造
モデル内部で計算に使われ、学習によって調整される数値です。重みはパラメータの代表的なものです。モデルの説明にある7Bや70Bは、通常、それぞれ約70億・700億個のパラメータを示します。
モデルを比較するときは、パラメータ数に加え、学習方法、量子化の有無、実際のタスクでの性能も確認します。MoEモデルでは、全体のパラメータ数と、1つのトークンの処理で使うパラメータ数が分けて示されることがあります。
確認日: