MoE(Mixture of Experts)とは

LLMの構造

複数の専門家ネットワークを組み合わせるモデル構造です。LLMでよく使われる疎なMoEでは、ルーターが入力トークンに応じて一部の専門家を選び、計算を振り分けます。

実務で確認すること

全体として多くのパラメータを持ちながら、各トークンで使う計算量を抑えられます。仕様を見る際は、総パラメータ数と有効化されるパラメータ数を確認します。「専門家」は学習されたネットワークを指し、必ずしも人が決めた業種別の担当になっているわけではありません。

参考資料

確認日:

用語一覧へ戻る