知識蒸留とは

軽量化と高速化

教師となるモデルの出力や予測分布などを利用して、生徒となるモデルを学習させる方法です。大きなモデルの能力を小さなモデルへ移し、運用時の計算負荷を抑える用途などに使われます。

実務で確認すること

例えば教師モデルが作った回答を学習データにして、特定の質問へ対応する小さなモデルを育てます。教師と生徒の性能差を、実際に利用する質問群で確認します。モデルのサイズだけでなく、応答時間や運用費用も併せて評価できます。

参考資料

確認日:

用語一覧へ戻る