【解説スライド掲載あり】AIレッドチーミングとは何か？AIセーフティの観点から実務的に解説

AIレッドチーミングとは何か？

生成AIやAIエージェントの活用が急速に進んでいます。以前までの生成AIは、文章生成やアイデア出しなど、比較的限定的な用途で利用されるケースが多くありました。しかし最近では、AIがより深く業務システムへ組み込まれ始めています。

例えば、社内向けAIチャットボット、RAGシステム、AIエージェント、ワークフロー自動化などを導入する企業は急速に増えています。また、顧客向け生成AIサービスや、AIによる意思決定支援を業務へ組み込むケースも増えてきました。ここで重要なのは、AIが単に文章を生成する存在ではなくなってきているという点です。

最近のAIは、データベースへアクセスし、外部システムと連携し、場合によっては自律的に処理を実行します。つまり、AIが「業務プロセスの一部」になり始めているのです。その結果、AIの誤作動や脆弱性が、単なる「変な文章が出る」という問題では済まなくなってきています。

例えば、以下のようなインシデントは、実際に十分起こり得ます。

• 機密情報の漏洩
• システム権限の悪用
• 誤った意思決定
• ブランド毀損
• 業務停止

特にAIエージェント系のシステムでは、この傾向がさらに強くなります。AIがツールを呼び出し、外部APIを操作し、複数システムを横断しながら処理を実行する構造では、従来のWebシステムとは異なるリスクが発生します。

そのため、「AIがどのように悪用されうるか」を攻撃者視点で検証する重要性が高まっているのです。その文脈の中で、近年注目されているのが「AIレッドチーミング」です。

AIレッドチーミングとは何か

AIレッドチーミングとは、AIシステムに対して攻撃者視点で検証を行い、脆弱性や危険な挙動を特定する活動です。これは、従来のITシステムにおける脆弱性診断やペネトレーションテストと、本質的には大きく変わりません。

例えば、従来のWebアプリケーション診断では、SQL InjectionやXSSなどを検証していました。それと同様に、AIシステムに対しても、想定外の出力や権限悪用、不適切な挙動などを検証していくことになります。

つまり、AIレッドチーミングとは、AIシステムの「健康診断」のようなものです。

どこに弱点があるのか。どのような条件で危険な挙動が発生するのか。どの部分が攻撃者に悪用されうるのか。そういったポイントを、攻撃者視点で洗い出していく活動になります。

一方で、実務上よく混同されるポイントがあります。それは、「脆弱性を発見する活動」と、「その後の改善対応」が、同じ言葉で語られてしまうことです。実際のプロジェクトでは、脆弱性を発見した後、その原因分析を行い、改善方針を整理し、対策を実装し、最後に再検証まで実施するケースが少なくありません。

例えば、以下のような流れです。

• 脆弱性の特定
• 原因分析
• 改善方針の整理
• 対策実装
• 再検証

この一連の流れ全体を、現場ではまとめて「レッドチーミング」と呼んでいるケースがあります。ただし、本来的には、レッドチーミングそのものは「脆弱性や危険な挙動を発見する活動」を指します。改善やガバナンス整備は、その後続のフェーズとして整理した方が、実務上も議論しやすくなります。

AIレッドチーミングの全体像

AI Safety Institute（AISI）の資料では、レッドチーミングは大きく3つの工程で整理されています。まず第1工程では、実施計画の策定と実施準備を行います。ここでは、対象システムの整理、実施範囲の決定、体制構築、環境準備、エスカレーションフローの確認などを行います。

特に重要なのは、「どこまで攻撃してよいのか」を最初に整理することです。AIシステムは、本番環境と密接につながっているケースが多くあります。そのため、無計画にレッドチーミングを実施すると、業務影響やシステム障害につながる可能性があります。

また、AI特有の問題として、「どの環境で検証するか」も非常に重要になります。例えば、以下のような違いがあります。

• 開発環境
• ステージング環境
• 実運用環境

どの環境を使うかによって、確認できる内容や、許容できる攻撃内容が変わります。さらに、ログ取得や内部観測の可否によっても、検証精度は大きく変わります。そのため、実務では、「攻撃を始める前の準備」の品質が非常に重要になります。

多くの企業は、いきなり攻撃手法から考えてしまう

AIレッドチーミングを始めようとすると、多くの企業が最初に「どんな攻撃を試すか」を考え始めます。
例えば、以下のような有名な攻撃手法です。

• プロンプトインジェクション
• システムプロンプト漏洩
• Jailbreak
• ロールバイパス
• データポイズニング

もちろん、それ自体は間違いではありません。ただし、このやり方だけでは、実務上かなり危険です。なぜなら、「その攻撃が成功したとして、何が問題なのか」が整理されていないからです。つまり、攻撃が“作業”になってしまうのです。

本来重要なのは、「このAIシステムで、何が起きたら困るのか」を先に整理することです。そのために必要なのが、「リスクシナリオ」の考え方です。

リスクシナリオとは何か

リスクシナリオとは、「どのような被害や問題が発生しうるか」を整理したものです。ここで重要なのは、「攻撃手法」から考えないことです。まずは、「何が守るべき情報なのか」「どの業務が重要なのか」「どんな被害が発生すると困るのか」を整理していきます。

AISIの資料でも、リスクシナリオ作成の前段として、システム構成理解と情報資産整理が必要であることが整理されています。例えば、AIシステムを検査する場合、まずはAIがどのようなシステムと接続しているのか、どのようなデータへアクセスしているのかを確認します。

具体的には、以下のようなポイントです。

• AIは外部公開されているか
• 個人情報へアクセスするか
• 機密データを扱うか
• AIエージェントとして動作するか
• 外部システムと連携するか
• 自律的に意思決定を行うか

こうした情報を整理した上で、「何が起きると危険なのか」を考えていきます。例えば、顧客情報が漏洩するケースや、システム権限が奪取されるケース、あるいはAIが誤った意思決定を行うケースなどが考えられます。

また、ブランド毀損につながるケースや、学習データが汚染されるケース、想定外用途へ悪用されるケースなどもあります。つまり、リスクシナリオとは、「攻撃そのもの」ではなく、「何が起きると危険なのか」を整理する活動なのです。

攻撃シナリオは、リスクシナリオから作る

そして、その後に初めて「攻撃シナリオ」を考えます。ここで重要なのは、「1つのリスクに対して、複数の攻撃パターンを考える」という発想です。

例えば、「権限が奪取される」というリスクシナリオがあったとします。この場合、攻撃方法は1つではありません。例えば、権限昇格を誘導するプロンプト入力を試すケースがあります。また、システムプロンプト漏洩を狙うケースもありますし、ロールバイパスを試行するケースも考えられます。

つまり、

リスクシナリオは、「何が起きると危険か」を整理するもの
攻撃シナリオは、「それをどう発生させるか」を整理するもの

という関係になります。

この整理を行うことで、レッドチーミングが単なる攻撃実験ではなく、「事業リスクを検査する活動」へ変わります。実務上、この考え方は非常に重要です。なぜなら、攻撃手法だけを列挙しても、経営層や業務部門と会話がつながらないからです。

一方で、「どのような事業リスクが存在するのか」という整理ができていれば、開発部門、セキュリティ部門、業務部門、経営層が、同じ土台で議論できるようになります。つまり、リスクシナリオは、単なる攻撃設計だけではなく、「組織内で共通言語を作る」という役割も持っているのです。

まとめ

AIレッドチーミングは、単なる流行りの攻撃テストではありません。質的には、「AIシステムで、何が起きると危険なのか」を整理し、それを攻撃者視点で検証する活動です。

そして、そのためには、いきなり攻撃手法を考えるのではなく、まずシステム構造を理解し、守るべき情報資産を整理し、リスクシナリオを作成し、そこから攻撃シナリオを導出するという流れが重要になります。特にAIエージェント時代では、AIが単独で存在するのではなく、複数システムと連携しながら業務を実行するようになります。

そのため、今後は「AI単体」ではなく、「AIシステム全体」をどのように検査していくかが、より重要になっていくでしょう。

AI共創総研では、AIレッドチーミング、AIセーフティ評価、AIガバナンス構築支援を行っています。

◆AI共創総研の代表的な支援内容

• AIエージェント導入前のリスク整理
• AIシステムの脆弱性検査
• リスクシナリオ作成支援
• AIガバナンス設計
• セキュリティ観点でのAI活用診断

「自社AIシステムにどの程度リスクがあるのか整理したい」
「AIエージェント導入前に脆弱性を確認したい」
「どこから対策を始めるべきか分からない」

といった場合は、無料相談・簡易診断も実施しています。まずはお気軽にお問い合わせください。

「レッドチーミング」の定義は、最初に揃えた方が良い

最後に、実務上かなり重要なポイントを1つだけ補足しておきます。それは、「レッドチーミング」という言葉は、人によって定義が微妙に異なるということです。

実際の現場では、攻撃テストという意味で使われるケースもあれば、脆弱性診断という意味で使われるケースもあります。また、AIセーフティ評価や改善提案込みの活動として使われるケースもあります。そのため、社内外でレッドチーミングについて議論する際には、「今この会話では、どこまでをレッドチーミングと呼んでいるのか」を最初に揃えておくことをおすすめします。

これはAIセーフティやAIガバナンスという言葉についても同様です。特に生成AI領域では、言葉だけが先行しているケースも少なくないため、定義を揃えるだけでも、議論の質はかなり変わります。