ベンチマーク
Benchmark
比較や評価の基準として使う共通の指標・テスト。AIの文脈ではモデルの性能を共通の問題セットで測る評価方法を指す。
ベンチマークとは
ベンチマークは、比較や評価のための共通の基準・テストを意味する言葉です。元々は測量で位置の基準点を示す印を指し、そこから転じて「性能を測る共通の物差し」として、コンピュータ・自動車・金融・スポーツなど幅広い分野で使われています。
「他社製品のベンチマークを取る」のように、同じ条件で比較して相対的な位置づけを把握する目的で使われるのが基本です。
AIの文脈での使われ方
AIの分野では、モデルの性能を共通の問題セットを使って評価する仕組みを指します。複数のモデルを同じ土俵で測ることで、どのモデルがどの領域に強いかを客観的に示すために使われます。
代表的なベンチマーク（LLM領域）:
- MMLU: 人文・理系を横断する多分野の選択式問題で汎用知識を測定
- HumanEval: プログラミング能力
- GSM8K: 算数・数学の文章題
- TruthfulQA: 誤情報への耐性
- MT-Bench・Chatbot Arena: 対話品質の評価（人間評価やLLM-as-a-Judge併用）
新モデル公開時、ベンダーはこれらのスコアをモデルカードや技術レポートで公表することが多いです。
注意点
ベンチマークは参考情報であり、実務性能とは必ずしも一致しません。
- スコアが高い＝自分の業務で高精度 とは限らない
- 学習データにテスト問題が混入する「データ汚染」問題がある
- 日本語・士業固有領域のベンチマークは限られる
士業視点での見方
AIベンダー選定時は、ベンチマークスコアだけでなく、自事務所の実データでの試用（トライアル）を行い、「自分たちの仕事で使えるか」を確認するのが確実です。公開スコアは候補絞り込みの一次情報として活用する位置づけが現実的です。