クエリと文書を別々に符号化した後、トークン単位などの表現を照合して関連度を求める検索方式です。文書側の計算を事前に行いながら、検索時に細かな語の対応を評価できます。
実務で確認すること
ColBERTが代表的な採用例です。検索方式を選ぶ際は、細かな条件を拾えるかという品質と、保存容量や照合処理の負荷を比較します。どの単位で表現を保持し、どう関連度を集約するかは実装ごとに確認します。
参考資料
確認日:
AIの生成と検索の仕組み
クエリと文書を別々に符号化した後、トークン単位などの表現を照合して関連度を求める検索方式です。文書側の計算を事前に行いながら、検索時に細かな語の対応を評価できます。
ColBERTが代表的な採用例です。検索方式を選ぶ際は、細かな条件を拾えるかという品質と、保存容量や照合処理の負荷を比較します。どの単位で表現を保持し、どう関連度を集約するかは実装ごとに確認します。
確認日: