AI活用の効果測定のやり方――「なんとなく便利」で終わらせない指標の設計

生成AIを導入し、研修もやった。経営から「で、効果は出ているのか」と聞かれて、答えに詰まる——効果測定は、AI推進の中で最も後回しにされ、最も後で困る論点です。

測定が難しい理由ははっきりしています。「業務が楽になった」という実感はあるのに、それを数字にする設計を導入前にしていないからです。先に結論を言うと、効果測定は利用・行動・成果の3層に分けて、導入前に「何をいつ測るか」を決めておくことに尽きます。この記事では、後付けでも間に合う指標設計の方法を解説します。

効果を出す前提が整っているか、自社の状態を30秒で判定する →

結論：効果は3層で測る

よくある失敗は、いきなり成果指標（売上・利益への貢献）を求めることです。成果指標にはAI以外の要因が混ざるため、単独での因果の証明はほぼできません。実務的な正解は、利用→行動→成果の順に因果の鎖でつなぎ、行動指標を主戦場にすることです。「利用が定着し（利用）、作成時間が減り（行動）、その分提案数が増えた（成果）」という鎖で語れれば、経営への説明として十分に機能します。

行動指標の作り方：ビフォーを取り忘れない

行動指標で最も多い後悔は、導入前の状態（ビフォー）を記録していなかったことです。「提案書の作成時間が半分になった気がするが、元が何時間だったか誰も覚えていない」状態では、変化を示せません。

対処は重厚な計測システムではなく、対象業務を絞ったサンプリングで足ります。

すでに導入済みでビフォーがない場合も、諦める必要はありません。今から測り始めれば、今後の改善（型の改修、教育の追加）の効果は示せます。また、AIを使っている人と使っていない人の比較という横の対照も、同一業務であれば代替的なビフォーとして機能します。

研修・教育の効果測定

研修の効果も同じ3層で測れます。受講直後のアンケート（満足度）は利用指標にすら達していない参考値で、見るべきは研修の2〜4週間後に、対象業務での行動が変わったかです。研修前に「この研修で変わるはずの業務行動」を定義しておけば、測定はその追跡だけで済みます。

この設計は研修選定の段階から始まっています。効果測定の方法が提案に含まれているかは研修会社を見分ける基準であり（研修会社が営業では言わない、AI研修選びで失敗する7つのパターン参照）、測定の約束が入った稟議は通りやすくなります（AI研修の稟議が通らない――決裁者が見ている3点と稟議書の書き方参照）。つまり効果測定は事後の仕事ではなく、選定と稟議の段階で設計する仕事です。

経営報告のまとめ方

報告は次の一枚構成が実用的です。

重要なのは5番目です。効果測定の目的は過去の正当化ではなく、次の判断（どの部門へ広げるか、教育を追加するか、型を改修するか）の材料を出すことです。「測って終わり」の報告は、次第に測ること自体が形骸化します。

自社の場合、そもそも効果が出る前提（ユースケースの特定、教育、推進体制）が揃っているのか——測定の前にそこが不安な場合は、現在地の判定から始めてください。