同じ条件で繰り返し質問した際に、回答の結論、推薦するブランド、引用先などがどれくらい揃うかという観点です。比較する対象を決めることで、回答の安定性を調べられます。
実務で確認すること
例えば同じ質問を20回実行して、首位のブランドが同じだった回数や、推薦候補の共通度を集計します。文章の完全一致だけで判断せず、モデル、検索の有無、実行日、会話履歴などの条件を記録して比較します。
観測と検証
同じ条件で繰り返し質問した際に、回答の結論、推薦するブランド、引用先などがどれくらい揃うかという観点です。比較する対象を決めることで、回答の安定性を調べられます。
例えば同じ質問を20回実行して、首位のブランドが同じだった回数や、推薦候補の共通度を集計します。文章の完全一致だけで判断せず、モデル、検索の有無、実行日、会話履歴などの条件を記録して比較します。