教師となるモデルの出力や予測分布などを利用して、生徒となるモデルを学習させる方法です。大きなモデルの能力を小さなモデルへ移し、運用時の計算負荷を抑える用途などに使われます。
実務で確認すること
例えば教師モデルが作った回答を学習データにして、特定の質問へ対応する小さなモデルを育てます。教師と生徒の性能差を、実際に利用する質問群で確認します。モデルのサイズだけでなく、応答時間や運用費用も併せて評価できます。
参考資料
確認日:
軽量化と高速化
教師となるモデルの出力や予測分布などを利用して、生徒となるモデルを学習させる方法です。大きなモデルの能力を小さなモデルへ移し、運用時の計算負荷を抑える用途などに使われます。
例えば教師モデルが作った回答を学習データにして、特定の質問へ対応する小さなモデルを育てます。教師と生徒の性能差を、実際に利用する質問群で確認します。モデルのサイズだけでなく、応答時間や運用費用も併せて評価できます。
確認日: