生成AIの品質をどう担保するか — 評価指標は業務側が決める

生成AIを業務に組み込んだ企業の多くが、導入後しばらく経ってから同じ問いに直面する。「この出力は正しいのか、誰が判断するのか」という問いだ。PoCで確認した精度が業務投入後の体感と合わない、現場がAIの回答をそのまま使うリスクがある、評価基準がなく継続改善の回路が回らない——これらはいずれも「品質管理の主体と基準が決まっていない」ことに起因する。品質の問題は技術の問題ではなく、業務と経営の問題である。

従来のソフトウェアは入力に対して出力が一意に定まるが、生成AIは確率的に応答を生成するため、「同じ入力でも異なる出力が返る」という特性を持つ。加えて、学習データに存在しない内容についても尤もらしく応答してしまうハルシネーション（幻覚）は、ビジネス文書や顧客対応・契約交渉などの業務では深刻なリスクになる。ハルシネーションは完全には排除できないという前提に立ち、「この業務文脈でどこまで許容するか」を事前に定義することが品質管理の出発点となる。その定義を持たないまま生成AIを業務展開すると、品質リスクは組織ではなく「使った個人」に帰着してしまう構造を生む。

産業技術総合研究所（産総研）は2025年5月に「生成AI品質マネジメントガイドライン第1版」を公表した。同ガイドラインが示す品質マネジメントの基本的な流れは「想定用途から品質要件を導出し、各コンポーネントに品質要件を割り当て、管理策を設計する」というシーケンスだ。注目すべきは、品質要件の起点が「技術仕様」ではなく「想定用途」に置かれている点である。これは、評価基準を技術部門ではなく業務側が主導して定義しなければならないことを意味する。「この業務においてAIが誤ってはいけないケースは何か」「許容できる誤りの種類と頻度はどこまでか」という問いに答えられるのは、業務を熟知している現場と経営層だけだ。

実務的なAI品質評価は3層で構成される。第一層は自動評価で、構造整合性・文字数・フォーマット準拠などルールベースで機械的にチェックできる項目を処理する。第二層はLLM評価（LLM-as-a-Judge）で、別のAIモデルを評価者として活用し、観点ごとのルーブリック（評価基準表）に沿って出力の妥当性を採点する。第三層は人手評価で、リスクの高い業務や新しい用途では実際の業務担当者が一定サンプルをレビューする。この3層を組み合わせる際に重要なのは、「何を自動評価から人手評価にエスカレーションするか」の判断基準を業務側があらかじめ定めることだ。自動化率を高めることよりも、業務上の失点を防ぐ設計を優先しなければならない。

品質評価の基盤となるのが「ゴールデンデータセット」と呼ばれる正解事例の集合体だ。業務を代表する典型的なプロンプトと期待される出力のセットを、少数であっても精選して手作業で構築する。このデータセットが存在することで、モデルのバージョン更新・プロンプト変更・RAGの知識ベース更新があった際に「以前より良くなったか悪くなったか」を定量的に比較できるようになる。ゴールデンデータセットの設計は技術タスクに見えるが、実態は「業務上の正解とは何か」という意思決定だ。エッジケースを知っている現場担当者なしには、統計的に代表性のあるデータセットは構築できない。当社では、初期版を30〜50件から始め、運用中のインシデントを都度追加する運用ループを推奨している。

経済産業省・総務省が2026年3月に改定した「AI事業者ガイドライン（第1.2版）」は、AIを利用する企業に対して「運用時を含めた品質確保策の継続的な検討」を明示的に求めている。これは、公開時点の品質確認だけでは不十分であり、業務環境・ユーザー行動・モデルの挙動変化に応じてモニタリングと再評価を継続しなければならないことを意味する。実際の運用では、出力サンプルの定期レビュー・ユーザーフィードバックの収集・インシデント集計とゴールデンデータセットへの反映というサイクルを回すことが、品質の継続的担保につながる。ガイドライン対応は「書類を整える」ことではなく「品質管理の回路を業務に組み込む」ことだ。

生成AI品質の担保は、CTO・情報システム部門だけが取り組む技術課題ではない。「業務上の正解とは何か」「どのリスクを誰が負うか」「いつ人手が介在すべきか」——これらの問いに答えられるのは業務と経営の現場だ。当社は、ヘルスケア経営の現場でAIの出力誤りが即座に現場リスクに転化する環境で評価設計を磨いてきた。「現場で検証済みのことしか提案しない」という規律のもと、AI品質マネジメントの設計・ゴールデンデータセットの構築・評価体制の組織設計に取り組んでいる。生成AIの品質担保体制の構築や経営層への説明方法についてのブリーフィングをご希望の場合は、https://fujii-consulting.jp/contact よりご相談ください。