AI研究 公式発表の要約

Google、MKAベンチマークを発表

公開:
更新:(日本時間)
編集:松下聡太郎

発表・情報元
Google
情報元の公開日
掲載形式
当サイトによる要約(全文転載ではありません)
Google、MKAベンチマークを発表 — 記事内容をイメージしたイラスト
記事内容をイメージしたイラスト

GoogleはArtificial Analysisと共同で、視覚的に複雑な資料を使うエージェントの業務遂行能力を測るMultimodal Knowledge Agent(MKA)を発表しました。

押さえておきたいポイント

  • 10分野・83職種の専門家と200課題の評価セットを作成。
  • 採点基準は事実の正確性75%、視覚的なデザイン25%。
  • 本評価の200課題は非公開とし、別途10課題を公開。

図表やレイアウトを含む業務を評価

入力資料を読み解き、スライドやレポート、表計算などの成果物を作る複数段階の課題を扱います。各モデルは共通のツールや実行環境で評価されます。Googleが報告するモデル性能は、この評価条件下での結果です。

出典・原文

Google:Introducing the Multimodal Knowledge Agent benchmark

公式情報を読む ↗情報は掲載時点で確認した内容です。提供状況や詳細は原文をご確認ください。
← LLMO・AIO・GEO業界ニュース一覧へ