それまでの入力と、自分がすでに生成した結果を条件として、次の要素を順番に生成するモデルです。文章生成では、生成したトークンを文脈へ加えながら続きを作ります。
実務で確認すること
最初に選ばれた表現が変わると、その後の生成で使う文脈も変わります。同じ質問から異なる文章が生まれる仕組みを理解する手がかりになります。出力の長さに応じて生成処理を繰り返すため、回答にかかる時間を見る際にも関係します。
参考資料
確認日:
LLMの構造
それまでの入力と、自分がすでに生成した結果を条件として、次の要素を順番に生成するモデルです。文章生成では、生成したトークンを文脈へ加えながら続きを作ります。
最初に選ばれた表現が変わると、その後の生成で使う文脈も変わります。同じ質問から異なる文章が生まれる仕組みを理解する手がかりになります。出力の長さに応じて生成処理を繰り返すため、回答にかかる時間を見る際にも関係します。
確認日: