AIエージェントは、もはや研究上の珍しい存在ではありません。コードを書き、メールを送り、データベースにクエリを発行し、外部APIを呼び出し、判断を下します。それも、多くの場合、人間が介在しないまま。ツールから自律的な行為者へのこの転換が、すべてを変えます。
企業が気づき始めている問いは、「AIエージェントを使うべきか」ではありません。「エージェントの行動を、誰が統制するのか」です。
コントロールギャップ
開発者がコードを書くとき、すべての動作は意図的です。AIエージェントがタスクを実行するとき、その経路は確率的です。同じプロンプトでも、日が違えば、異なる順序のツール呼び出しが生成されるかもしれません。それはバグではありません。言語モデルの性質です。しかしそれは、コードレビューや静的解析に頼って、すべてのリスクを捕捉することはできない、ということを意味します。
従来のセキュリティツールは、決定論的なシステムのために作られました。ファイアウォール、RBAC、DLPスキャナー。これらはいずれも、入力と出力をあらかじめ列挙できることを前提としています。AIエージェントは、その前提を崩します。
その結果生じるのが、私たちがコントロールギャップと呼ぶものです。エージェントが実行できることと、ポリシーが実際に阻止していることとの間にある空白です。
このギャップを、具体的な形で見てみましょう。LLMプロバイダーが制御するのは、どのモデルを呼び出せるかです。クラウドプロバイダーが制御するのは、誰がどのリソースに触れられるかです。どちらも、その間の瞬間、つまりモデルがツールを呼び出すと決め、ツールが実行される瞬間を見ていません。データ漏えい、権限のない操作、想定外のコストが潜んでいるのは、その瞬間です。
実践におけるガバナンス
効果的なAIガバナンスは、3つの層で機能します。
1. ポリシーの適用 エージェントがツール呼び出しを実行したりプロンプトを送信したりする前に、ポリシーエンジンがルールに照らしてそれを評価します。PIIのパターンに一致するリクエストはブロックします。高価なモデルへの呼び出しにはレート制限をかけます。取り消せない操作には、人間の承認を必須にします。これはSDKレベルで行われ、ネットワークのラウンドトリップも、正常系へのレイテンシの追加もありません。
2. 監査ログ エージェントが行うすべての操作は、追記専用のログに記録されます。入力と出力だけでなく、ポリシーの判断、つまり何が許可され、何がブロックされ、それはなぜかも記録されます。コンプライアンスチームから「先週の火曜日、うちのAIは何をしたのか」と聞かれても、答えを示せます。
3. 可視性 ガバナンスは、何が起きているかを見えるようにして初めて機能します。シャドーAI、つまり従業員がIT部門の認識なしに使っているモデルやエージェントは、あらゆる規模の企業で現実の問題になっています。最近の業界調査では、承認されていないAIツールを使っているナレッジワーカーは80%近くに上るとされています。こうしたエージェントを浮かび上がらせる発見ツールは、それらをガバナンスの枠組みに取り込むための第一歩です。
何もしないことのコスト
この層を省略する企業は、賭けをしています。その賭けとは、自社のAIエージェントが次のことを決して起こさない、というものです。
- 思いがけない場所にログとして残るプロンプトを通じて、機密データを漏えいさせる
- アクセスすべきでないAPIを呼び出す
- 生み出すビジネス価値を上回るペースでコストを積み上げる
- 手作業での復旧が必要になる、取り消せない変更を加える
こうした賭けのいくつかは、当たります。しかし、AIの利用が1つのチームから組織全体へと広がるにつれ、インシデントが起きる確率は積み重なっていきます。しかも、こうしたインシデントはもはや理論上の話ではありません。コーディングエージェントは、生成されたたった1つのコマンドでホームディレクトリを削除していますし、従業員は毎日、機密データをチャットツールに貼り付けています。その両方を記事にまとめました。--dangerously-skip-permissions が実際に無効にするものと、実際の rm -rf インシデントです。
小さく始める
ガバナンスは、複雑さを意味するとは限りません。エージェントに必要なアクセス権だけを与え、それ以上は与えないという最小権限の原則は、週末の個人プロジェクトから規制対象の企業まで、どんな規模にも通用します。
まずはログ記録から始めましょう。見えないものは統制できません。エージェントが何をしているかを明確に把握できれば、ポリシーの適用を重ねていくのは簡単です。
これを正しく進めているチームは、コンプライアンス上の義務が生じるまで待ったチームではありません。10年前に認証やアクセス制御でそうしたように、初日からガバナンスをインフラとして扱ってきたチームです。
AIガバナンスも、同じ方向に向かっています。問題は、それを先手で構築するのか、後手で構築するのか、ただそれだけです。
ポリシーが実際にどのようなものか、体験してみませんか？pip install controlzero は、アカウントもネットワークも不要で、ローカルで動作します。許可ルールと拒否ルールを1つずつ書き、操作が実行される前に拒否が発動する様子を確かめてください。詳しくはControl Zeroクイックスタートをご覧ください。