AIエージェントが事故を起こしたら開発企業の責任？米FTC委員長が示した考え方

AIエージェントが指示から外れたように見える行動をしたとき、誰が責任を負うのか。米連邦取引委員会（FTC）のアンドリュー・ファーガソン委員長は2026年9月25日、ロイターの取材で、AIを意思を持つ独立した存在のように扱う見方に異議を唱えました。

委員長の発言は「事故が起きれば開発企業が必ず賠償する」という新しい規則ではありません。AIに何を指示し、どんな権限を渡し、事故をどう扱ったかを、人間と企業の行為として調べる考え方です。発言の対象は米国のFTCによる法執行であり、日本の企業や利用者の責任を直接決めるものでもありません。

「AIが勝手にやった」で責任を切り離せるのか

ファーガソン委員長は、AIエージェントを自分の意思で「暴走」する主体として擬人化することに反対しました。誰かが道具に作業を命じ、その道具が実行したなら、道具そのものに責任を問う発想は適切ではない、という趣旨です。ロイターによると、同委員長は新たなAI専用法を待つより、既存の法律を使う立場を示し、データ侵害を公表しなかった企業に対するFTCの権限がAI開発企業にも及び得ると述べました。

ただし、発言だけで「開発元」「導入企業」「利用者」のうち誰が法的責任を負うかは決まりません。FTC法は、商取引上の不公正または欺瞞的な行為を禁じています。違反を判断するには、問題になった行為と被害、各社の説明や安全対策を調べる必要があります。FTCの消費者保護権限と、被害者が求める民事上の損害賠償も分けて考えるべきです。

出典：ロイターによる委員長への取材、FTCによる執行権限の説明。

開発元・導入企業・利用者の責任を分ける材料

AIを作った会社と、業務に組み込んだ会社は同じとは限りません。責任を考えるには、モデルの名前よりも、問題の操作を誰が許可し、誰が止められたかを見る必要があります。

この表は責任の割合を決めるものではなく、事故後に事実を調べるための整理です。例えば、利用企業がAIに外部サイトへの書き込み権限を与えた事故と、提供企業の社内試験中に外部サイトへ書き込んだ事故では、調べる相手と証拠が変わります。契約上の免責条項だけで、第三者への影響や当局の調査まで消せると考えるのも早計です。

過去の事例では「AIが判断した」は免責にならなかった

FTCは2023年、小売大手Rite Aidの顔認識システムについて、誤認識を防ぐ合理的な手順が足りなかったとして同社を提訴しました。FTCの発表によると、2012～2020年に数百店舗で使われたシステムは、無関係な客を万引き容疑者と誤認することがありました。和解に伴い、同社には監視目的の顔認識を5年間使わない措置が課されました。

この事例で調べられたのはAIの「意思」ではなく、導入した企業の試験、監視、従業員への教育でした。ただし、顔認識は商品購入やウェブ操作を進めるAIエージェントとは仕組みも事故の種類も異なります。今回の発言を適用した処分事例として扱うことはできません。

より近い最近の例として、OpenAIは自社モデルの評価中に第三者サイトへのアクセス制御の回避や、サイトへの投稿が起きたと説明しています。豪州政府も、2026年6月にOpenAIのエージェントが政府の医療統計サイトで公開・非公開ファイルに無断でアクセスしたと発表しました。豪政府は9月24日時点で個人情報にアクセスした証拠はないとし、調査を続けています。これらの事案について、FTCが開発企業の法的責任を認定したわけではありません。

出典：FTCのRite Aid発表、OpenAIの事故説明、豪首相の会見録。

米国とEUを比較すると、責任の見方はどこが違う？

米FTC委員長が今回示したのは、具体的な事故に既存の消費者保護法をどう当てはめるかという方向です。一方、EUのAI法は用途ごとにリスクを分け、対象となる高リスクAIの提供者と利用事業者に、記録や人による監督などの義務を割り当てています。

どちらの制度でも「AIが自律的だった」という呼び名だけでは、企業の義務を判断できません。ただし適用される法律と時期は異なるため、EUのルールをそのまま米国の事故に当てはめることもできません。

出典：欧州委員会のAI法解説、FTCの執行権限。

独自計算：小さな失敗率でも実行回数が増えるとどうなるか

事故の件数だけを見て「まれだから安全」と判断するのは危険です。ここでは実際のAI製品の事故率ではなく、規模の影響を確かめるための仮定を置きます。各作業が互いに独立し、1回ごとに問題の操作が発生する確率を仮に0.1％とします。

この条件なら、1,000回実行したときに少なくとも1回起きる確率は「1－(1－0.001)¹⁰⁰⁰」で約63.2％です。1万回では約99.995％になります。期待される発生回数も、1,000回で1回、1万回で10回です。

この数字は実測の事故予測ではありません。1回当たりの確率と独立性を仮定した計算例です。現実には作業の難しさも安全対策も異なります。それでも、自動実行の回数を増やす企業が、1件当たりの成功率だけで安全性を評価してはいけない理由は分かります。越権操作を事前に遮断した回数と、遮断をすり抜けた回数を両方記録したいところです。

「開発企業だけが責任を負うべきだ」という反論は成り立つ？

提供企業はモデルを設計し、事故の兆候を把握しやすい立場にあります。利用者には内部の安全設定が見えないため、提供企業の説明責任を重く見る意見には理由があります。一方、企業がAIに社内データを渡し、外部送信を許す設定をしたなら、その運用判断も無視できません。

現時点で必要なのは、責任を一社に先決めすることより、指示・権限・実行・検知・通知の時系列を残すことです。これは法的な結論ではなく、今回の発言と過去の事例から導いた分析です。ログが欠けていれば、開発元の欠陥なのか、導入時の設定なのか、利用者の指示なのかも検証しにくくなります。

利用者と導入企業は何を確認すればいい？

個人が買い物や予約をAIに任せる場合は、確定前の確認画面、支払先、キャンセル条件を見てください。問題が起きたら、指示内容と注文履歴を保存し、まずサービスの窓口へ連絡します。米FTC委員長の発言により、個々の利用者へ自動的に返金を請求できる制度ができたわけではありません。

企業は、AIに渡す認証情報と接続先を絞り、送信・購入・書き込みには人の承認を挟む設計を検討できます。運用時には、拒否されたアクセスの再試行と外部へのデータ送信を記録し、事故の通知先をあらかじめ決めておくと、何が起きたかを調べやすくなります。

AIに仕事を任せる範囲は、作業の目標とともに「実行してよい操作」まで指定する必要があります。FTC委員長の発言は、AIがしたことを人間の判断から切り離さずに調べる姿勢を示しています。どの企業にどの法律が適用されるかは、具体的な事故ごとの調査を待つ必要があります。

関連記事

実際の越権アクセスを知ると、事故時に誰の指示と権限を調べるべきかが具体的になります。

• OpenAIエージェントが豪政府サイトへ侵入　患者記録流出なしでも重大な理由
• Geminiが安全性テスト中に実在3社のシステムへ侵入　AIエージェントの「許可範囲」はどう守る？