事例紹介：広島県 予防的支援に係るAIモデル検証業務

1．背景 ― 実証事業の成果と課題を整理する

2．検証内容 ― 設計から運用までの一貫した検証

本検証では、AIモデルの一部のみを評価するのではなく、企画・設計・構築・評価・運用という一連の流れを連続した構造として捉えました。AIの性能を点として評価するのではなく、プロセス全体の整合性と成熟度を確認するというアプローチです。

広島県様の取り組みは、実証事業として既に高い完成度を有していました。そのため本検証は、課題抽出を目的とするものではなく、設計思想や運用実態を構造的に整理し、将来にわたって再現可能な形で形式知化することを意図しました。特に、公共分野におけるAI活用では、技術的妥当性だけでなく、説明可能性、倫理性、運用統制、可監査性といった観点が不可欠であり、それらを統合的に確認することを基本方針としました。

【設計フェーズの検証】

設計フェーズでは、AIの役割定義と業務フローとの整合性を中心に確認しました。AIはあくまで支援の優先度を可視化するツールであり、最終判断は職員が行うという原則が、要件定義や制度設計において一貫して反映されているかを整理しました。

あわせて、データ連携の範囲や個人情報の取扱い、倫理的配慮の検討状況についても確認しました。児童虐待という極めてセンシティブな領域においては、何を予測するかという技術的問題だけでなく、予測を行うこと自体の社会的妥当性が問われます。本検証では、設計段階においてその観点がどのように織り込まれていたのかを明確化しました。

【構築フェーズの検証】

構築フェーズでは、モデルの技術的妥当性を精査しました。アルゴリズム選定の合理性、学習データの分布特性、特徴量の選択過程、評価指標の設定理由などを確認し、構築プロセスが体系的に整理されているかを検証しました。

特に重視したのは、精度指標の背後にある構造の理解です。偽陽性や偽陰性の事例を分析し、どのような条件で誤判定が発生しているのかを確認しました。公共分野では誤判定の社会的影響も重要であるため、単なる数値比較ではなく、運用への影響を含めて評価しました。

また、モデル出力の説明可能性についても確認しました。AIの判断根拠が現場職員にとって理解可能な形で提示されているかどうかは、実務で活用されるための重要な条件です。ブラックボックス化を防ぎ、透明性を担保する観点から検証を行いました。

【評価フェーズの検証】

評価フェーズでは、「品質」という概念を多面的に整理しました。AIモデルの品質はAccuracyやF値のみでは定義できません。現場で納得して活用できるか、誤判定時に適切にフォローできる設計になっているか、改善履歴が記録されているかといった観点を含めて捉える必要があります。

本検証では、技術品質と運用品質を統合した品質概念を導入し、その定義が関係者間で共有されているかを確認しました。また、モデル改善のサイクルが構造化されているか、評価結果が文書として整理されているかといった可監査性の観点からも確認を行いました。

【運用フェーズの検証】

運用フェーズでは、モデルが実際の業務の中でどのように活用されているかを確認しました。利用状況の把握、現場からのフィードバックの収集体制、アクセス制御やログ管理などの統制状況を整理しました。

さらに、データドリフトやコンセプトドリフトといった品質劣化の可能性に対する備えについても確認しました。AIは導入後も継続的に変化するため、その変化を検知し、適切に対応する体制が整備されているかが重要です。本検証では、実証フェーズから継続運用フェーズへ移行するための成熟度を確認しました。

3．AI品質マネジメントの形式知化

検証を通じて得られた知見は、単なる評価結果としてではなく、今後のAI活用におけるレビュー観点として体系化されました。AIの企画、設計、構築、評価、運用の各段階で何を確認すべきかを整理し、判断基準を形式知として明文化しました。

これにより、AI活用が特定の担当者の経験に依存するのではなく、組織として再現可能なプロセスへと整理されました。また、職員向けトレーニングを通じて、モデルの理解と活用能力の向上も支援しました。

本業務は、実証事業の成果を整理すると同時に、AIを持続的に活用するための基盤整備でもありました。広島県様が積み重ねてこられた先進的な取り組みを土台とし、その価値をより強固な形で次の段階へと接続する。その一助となることが、本件の意義でした。

ご担当者様コメント

(左)広島県健康福祉局 子供未来応援課 ネウボラ推進グループ  長井 渉さま
(右)株式会社AI共創総研 代表取締役 藤井 涼