Denseモデルとは

LLMの構造

LLMの構造の説明では、疎なMoEのようにトークンごとに専門家を選択せず、基本的に共通のネットワークを使って処理するモデルを指します。モデルの規模や計算量を説明するときに使われる呼び方です。

実務で確認すること

同じ総パラメータ数でも、Denseモデルと疎なMoEでは、1つのトークンの処理に使う計算量が異なります。比較では総パラメータ数だけでなく、有効化されるパラメータ数、メモリ使用量、応答速度、対象タスクでの性能を確認します。

参考資料

確認日:

用語一覧へ戻る