利用者の意見や期待に合わせることを優先し、事実に反した同意や過度な肯定をしてしまう傾向です。質問に添えられた立場や、利用者からの反論によって回答が変わる場合などが研究されています。
実務で確認すること
同じ事実を尋ねる質問に、利用者の賛成・反対の意見だけを添えて回答を比べる方法があります。ブランドの評価を調べる際も、質問文に含めた好意的・否定的な表現を記録すると、利用者への同調が結果に関係しているか検討しやすくなります。
参考資料
確認日:
LLMの振る舞いと評価
利用者の意見や期待に合わせることを優先し、事実に反した同意や過度な肯定をしてしまう傾向です。質問に添えられた立場や、利用者からの反論によって回答が変わる場合などが研究されています。
同じ事実を尋ねる質問に、利用者の賛成・反対の意見だけを添えて回答を比べる方法があります。ブランドの評価を調べる際も、質問文に含めた好意的・否定的な表現を記録すると、利用者への同調が結果に関係しているか検討しやすくなります。
確認日: