事前学習の後に、モデルの能力や振る舞いを調整する学習の総称です。指示への対応、出力形式、好ましい回答の選び方、推論能力などを改善するために行われます。
実務で確認すること
SFTや選好に基づく最適化、強化学習などが使われます。モデルの公開資料を読むときは、何を目標に、どのデータや評価基準で調整したかを確認すると、同じ基盤モデルから作られたモデル同士の特徴を把握しやすくなります。
参考資料
確認日:
LLMの学習と調整
事前学習の後に、モデルの能力や振る舞いを調整する学習の総称です。指示への対応、出力形式、好ましい回答の選び方、推論能力などを改善するために行われます。
SFTや選好に基づく最適化、強化学習などが使われます。モデルの公開資料を読むときは、何を目標に、どのデータや評価基準で調整したかを確認すると、同じ基盤モデルから作られたモデル同士の特徴を把握しやすくなります。
確認日: