LLMの構造の説明では、疎なMoEのようにトークンごとに専門家を選択せず、基本的に共通のネットワークを使って処理するモデルを指します。モデルの規模や計算量を説明するときに使われる呼び方です。
実務で確認すること
同じ総パラメータ数でも、Denseモデルと疎なMoEでは、1つのトークンの処理に使う計算量が異なります。比較では総パラメータ数だけでなく、有効化されるパラメータ数、メモリ使用量、応答速度、対象タスクでの性能を確認します。
参考資料
確認日:
LLMの構造
LLMの構造の説明では、疎なMoEのようにトークンごとに専門家を選択せず、基本的に共通のネットワークを使って処理するモデルを指します。モデルの規模や計算量を説明するときに使われる呼び方です。
同じ総パラメータ数でも、Denseモデルと疎なMoEでは、1つのトークンの処理に使う計算量が異なります。比較では総パラメータ数だけでなく、有効化されるパラメータ数、メモリ使用量、応答速度、対象タスクでの性能を確認します。
確認日: