推論時スケーリングとは

文章生成と推論の制御

回答を生成する段階で計算量を増やし、性能の向上を図ることです。推論ステップを増やす、複数の回答候補を生成して選ぶ、途中の解き方を評価するなどの方法があります。

実務で確認すること

例えば同じ問題に対して複数の解答候補を作り、検証結果に基づいて1つを選びます。比較するときは正答率に加え、処理時間、生成トークン数、費用も記録します。どの方法で計算を増やしたかによって、改善の度合いは変わります。

参考資料

確認日:

用語一覧へ戻る