生成 AI は同じプロンプトで毎回異なる回答を返す。「入力 X を渡したら出力 Y が返るか」という決定論的テストは、そのままでは機能しない。
BLEU（n-gram 一致率で精度を測る代表的な指標）を日本語生成タスクに当てると、意味的に正しい回答がゼロ点近くになる現象が起きる。
固定データセット＋複数の評価器で順位を比較する——この基本形を押さえてから「精度◯%」の数字を語る。

非決定的な AI の評価ハーネスの基本形

生成 AI を評価するとき、最初に用意するのは「固定評価データセット」だ。本番または想定ユースケースから代表的な問いを 50〜100 件選んでファイルに保存する。モデルバージョンやプロンプトが変わるたびにこの問題群を使い回し、変更前後の出力を比較する。

採点には LLM-as-judge（採点専用の別モデルを審査員として使う方式）を組み合わせる。Zheng et al. 2023（NeurIPS）は MT-Bench という固定評価セットと LLM-as-judge を組み合わせた評価枠組みを確立した。GPT-4 クラスの審査員モデルは人間評価との一致率 80% 超を達成しており、人間同士の一致率（MT-Bench: 63%、AlpacaFarm: 66%）と同等水準だ（https://arxiv.org/abs/2306.05685）。

日本語の生成タスク（対話・要約・指示追従）については、JGLUE（Yahoo Japan）・llm-jp-eval が BLEU/ROUGE ではなく LLM-as-judge または人間評価を推奨する公式設計方針を採っている（https://github.com/yahoojapan/JGLUE）。

BLEU/ROUGE が日本語生成でほぼ機能しない理由

BLEU と ROUGE は、生成文と参照文の n-gram（単語・文字の連続パターン）が字句一致するかを見る。言い換えに根本的に弱い。

SAGE Benchmark 2025（arXiv 2509.21310）は、パラフレーズのケース（意味は同じだが表現が異なる回答）で 60% 超の意味的等価性を BLEU/ROUGE が見逃すことを実証している。ACL 2023 starsem 研究では、人間が生成した意味的に正しいパラフレーズの BLEU スコアが 17.1 という実測値が報告されており、正解回答がゼロ点近くになる現象の一次エビデンスとなっている（https://aclanthology.org/2023.starsem-1.29.pdf）。

日本語固有の問題もある。スペース区切りを前提に設計された BLEU は、形態素解析器（MeCab / SentencePiece / Sudachi 等）の選択でスコアが大きく変動する。同じ正解文でも分かち書きの粒度次第でスコアが動く——これは日本語 NLP 実務では既知の問題だ。

ただし、機械翻訳では BLEU が人間評価と 0.78〜0.91 の相関を示す領域がある（ExPerT ACL 2025 Findings・BERTScore と BLEU の比較研究）。BLEU/ROUGE の限界は「対話・要約・指示追従などの生成タスク」への適用に集中しており、機械翻訳の全否定ではない。生成タスクに使うときに代替指標が必要という話だ。

LLM-as-judge は「使えない」のではなく「食い違う」

LLM-as-judge には 2 つの系統的なバイアスが観測されている。

  • 位置バイアス：先に提示した回答を高く評価する傾向（Zheng et al. 2023 で最前線モデルでも確認）
  • 冗長性バイアス：長い回答を好む傾向（同）

JudgeBench（2024）では、困難な問題で強力な judge モデルでもランダム選択に近い精度しか出ないことが報告されている。Reliability without Validity（arXiv 2606.19544, 2026）は、大規模評価で「一貫性は高いが妥当性は低い」ケースが系統的に存在することを示している。

実務上の対処は複数評価器のアンサンブルだ。Judge’s Verdict 2025（arXiv 2510.09738）は、異なるモデルファミリー（Claude / GPT-4o / Gemini）を 3-judge ensemble で組み合わせ、バイアスを相殺する実践を推奨している（https://arxiv.org/html/2510.09738v1）。評価器が 1 つだと、そのモデルのバイアスを採点結果として丸ごと引き受けることになる。

「LLM-as-judge は信用できない」ではなく、「複数評価器で使い、スコアを順位として解釈する」が正確な使い方だ。

評価指標の選び方と設計チェックリスト

タスクタイプと目的によって使う指標が変わる。

タスクタイプ推奨指標注意点
機械翻訳BLEU人間評価との相関 0.78〜0.91。他タスクへの流用は要注意
対話・要約・指示追従LLM-as-judge複数評価器アンサンブル推奨。絶対スコアでなく順位で使う
意味類似埋め込みベース（BERTScore 等）STS Spearman 相関 86% 超（MTEB 2026 年 3 月）。タスク依存あり
情報感度・キーワード一致重視Jaccard 類似SAGE 2025 で Jaccard 0.905 > 最良埋め込みモデル 0.794 の事例

「BLEU が弱い → 埋め込みベースが正解」という単純な代替はない。埋め込みベース評価（文の意味をベクトル化して類似度を計算する方法）は言い換えに強いが、SAGE Benchmark 2025 は情報感度タスクで Jaccard 類似が最良埋め込みモデルを上回る事例を報告している。単一指標への過信が最大のリスクだ。

設計時に詰める 5 つのチェック

1. 固定評価データセットを作る
本番または PoC 環境から代表的な問いを 50〜100 件まとめて JSON 形式で保存する。これなしに「改善した」「悪化した」は言えない。

2. 複数指標を組み合わせる
タスクタイプに応じて上の表から 2〜3 指標を選ぶ。1 指標だとそのメトリクスの弱点を丸ごと引き受けることになる。

3. LLM-as-judge を複数評価器で運用する
最低 2 つの異なるモデルファミリーで採点し、順位が食い違う問いを手動確認リストに回す。

4. 継続測定で before/after を比較する
スコアの絶対値を根拠にしない。モデルバージョンアップ・プロンプト変更・RAG のチャンク設定変更など、変更前後を同じデータセットで測り続けることが目的だ。

5. 評価プロンプトのコストを設計する
評価プロンプトが長い設計では、採点コストが生成コストを上回ることがある（実測ベースの注意点）。2026 年 7 月時点の市場価格：GPT-4o $2.50/M tokens・Gemini 2.5 Flash $0.15〜$0.60/M tokens・Prometheus 2（Mistral ベース OSS）は self-host で利用可（https://benchlm.ai/llm-pricing）。2024 年初から 2026 年で同等能力のコストは約 12 分の 1 に低下しており（Epoch AI: https://epoch.ai/data-insights/llm-inference-price-trends）、バッチ処理・プロンプトキャッシュ・OSS の組み合わせで設計効率を上げるのが現時点の標準的な対処法だ。

→ 関連記事：AI 基盤を「ツール選定」として扱う前に

まとめ

「順位は頑健、絶対値は控えめに」——固定データセットを用意して複数の指標と評価器で継続測定し、変更前後を同じ物差しで比較し続けることが目的だ。完璧な採点でなく「同じ尺度で before/after を測り続けられる状態を作ること」が、生成 AI 品質評価の出発点になる。

次の一歩
手元の業務生成 AI から代表的な問い 50 件を抽出し、評価データセットの雛形を JSON で作る。llm-jp-eval（https://github.com/yahoojapan/JGLUE）の評価設計を参考に、タスクタイプと指標の対応を 1 枚のスプレッドシートで整理する。それがチームへの説明材料を兼ねる。

関連記事

参考文献