同じ会話を続けて質問した結果を、LLMOの計測に使ってもよいですか?

計測・運用

定点計測にはおすすめしません。会話履歴やパーソナライズの影響が加わるため、毎回の条件をそろえにくくなります。

前の回答で自社を紹介したり、追加条件を教えたりすると、その文脈が次の回答にも影響します。継続会話は利用者の検討過程を調べるには役立ちますが、独立した質問への言及率と混ぜて集計しない方がよいでしょう。

  • Webで確認する:毎回新しい会話を始め、メモリやカスタム指示などの設定を確認する。
  • シークレットモード:ブラウザの保存情報を分ける方法の一つ。ただしログイン後のアカウント設定やメモリまで無効になるわけではない。
  • APIで計測する:前の会話を引き継がず、同じプロンプト・モデル・検索設定などで独立したリクエストを繰り返す。

例えばChatGPTの一時チャットも、名称だけで非パーソナライズだと決めず、現在の設定を確認します。公式ヘルプではパーソナライズの有無を選ぶ仕様が説明されています。APIも、会話履歴や会話IDを渡せば文脈を引き継ぐため、利用するだけで条件がそろうわけではありません。

Web版とAPIでは回答や検索の挙動が異なる場合があります。両者は分けて記録し、実行日・質問・設定・回答全文を残しましょう。条件をそろえても回答は揺らぐため、可能な範囲で複数回計測します。

参考:OpenAI:一時チャットとパーソナライズ

参考:OpenAI:APIの会話状態と履歴の管理

回答:松下 聡太郎更新: