量子化とは

軽量化と高速化

重みや中間データなどの数値を、より少ないビット数で表す技術です。LLMでは必要なメモリやデータ転送量を減らすために使われ、対応する実装では処理の高速化にもつながります。

実務で確認すること

4ビットや8ビットなどの表記を確認すると、数値をどの精度で保存・計算するかを把握できます。モデルを選ぶ際は、使用メモリ、速度、対象タスクでの品質を合わせて比較します。効果は量子化方式や実行するハードウェアによって変わります。

参考資料

確認日:

用語一覧へ戻る