事件は情シスの「外」で起きている AI×システム開発のトラブル検知率はたった2割：AIを開発に利用するメリット・デメリット（後編）
キーマンズネットの読者調査によると、AIを使った開発で起きたトラブルのうち情報システム部門が検知しているケースは少数だった。では、トラブルはどのように顕在化するのか、トラブルを防ぐための手立ては十分なのか――。
AIをシステム開発で利用する動きが拡大する中、情報システム部門（情シス）が気になるのが、トラブルをどのように抑制するかだろう。
キーマンズネットは「開発におけるAIの活用に関する調査（2026年）」を実施した（実施期間：2026年7月27日〜8月5日、回答数106件）。前編では、AIを利用した開発（注1）のメリットとデメリットを紹介した。本編では、情シスがトラブルを適切に検知できているか、また、今後のトラブルを抑制するために必要な仕組みづくりについて、調査結果を紹介する。
今回の調査では、「AIを開発に利用している」とした回答者に、情シスが対応に追われるようなトラブルや事件が起きているかどうかを尋ねた。その結果、「業務停止や情報漏えい、大幅な予算超過といった大きな実害を伴う事件が発生した」と答えた人はいなかった。一方、「実害はないが、対応に追われるような小・中規模のトラブルが複数回発生している」と答えた人は12.5％、1〜2回発生したと答えた人は15.0％に上り、合計で約3割が1回以上のトラブルを経験していることが分かった。
「トラブルが発生した」とした回答者に、それがどのような経緯で発覚したのかを尋ねている。ネットワーク監視や利用ログの監査、経理部門からの費用請求の確認といった「情報システム部門の定常業務の中で検知された」を選んだ割合は18.2％にとどまった。つまり、トラブルの多くは、情報システム部門（情シス）の定常業務では見つかっていない。
トラブルに気付いていない情シス、知らせたのは誰？
では、残りの約8割はどこから発覚したのか。
「AIを開発に利用している」とした回答者のうち、「トラブルが発生した」と回答した人に発覚の経緯を尋ねたところ、最も多かったのは「事業部門から『動かなくなった』『使い方が分からない』と、情報システム部門が助けを求められて発覚した」「他部門の従業員からの通報やクレームによって発覚した」で、いずれも27.3％だった。
「トラブルが発生した」とした回答者のうち、情シスの読者からはフリーコメントとして、「機密情報が洩れそうになった」（IT関連外の製造業、情報システム部門）という声が寄せられた。発覚の経緯については、「他部門の従業員からの通報やクレーム」と回答しており、現場からの指摘によってトラブルが明らかになったケースと言える。
事件は情シスの“外”で起きている
「AIを開発で利用している」と答えた人の所属部門を見ると、情シスは45.0％で、残る55.0％は情報システム部門以外に在籍している。内訳はDX推進部門とその他が各15.0％、製造・生産部門が12.5％、総務・人事部門が7.5％、営業・販売部門と経営者・経営部門が各2.5％だった。
開発におけるAIの利用規模を尋ねた設問でも、「個人レベルで利用している」を選んだ人が27.0％を占めた。つまり、情シス以外の部門で利用している人が多く、個人レベルでの利用も一定数に達している。さらに後で触れる通り、利用状況を把握するツールも現時点ではあまり使われていない。情シスからはAIを開発に利用している状況を完璧に把握できているとは言えないのが実情だ。
「トラブルが発生した」とした回答者に、どのような事象が起きたかを尋ねたところ、最も多いのは「AIのハルシネーション（もっともらしいウソ）をそのまま受け入れ、誤ったロジックのまま実業務に組み込んでいた」（63.6％）だった。「担当者の異動・退職によって、誰も中身が分からないブラックボックス化したシステムが情シスに丸投げされた」（27.3％）、「情報システム部門が把握・管理できないシステム（シャドーIT・野良アプリ）が乱立した」（18.2％）が続いた。
「API連携などの過剰な呼び出しにより、想定外のクラウドリソース費やAPI利用料（トークン代）が発生した」と「機密データや個人情報を、無自覚に外部の生成AIに入力・処理させていた」はいずれも9.1％だった。
フリーコメントとして、情報システム部門の管理外で作られたシステムに関する声が寄せられた。「経理が独自で作成したツールがセキュリティソフトに検知された」（製造業、情報システム部門）と答えた人は、発生したトラブルとして「情報システム部門が把握・管理できないシステム（シャドーIT・野良アプリ）が乱立した」を選んでいる。
「退職した従業員が作ったツールの保守・メンテナンスの依頼が顧客からきた。ソースを見ても解析できるものではなかった。制作に使ったプロンプトや要件の整理が必要で、お断りした」（IT製品関連業、その他部門）という声もあった。この回答者は、トラブルの発生状況を尋ねた設問に対しては「トラブルや事件は起きておらず、健全に運用されている」を選択している。これは回答者が依頼を断ったことでトラブル発生が回避されたものの、既にAIによる開発でブラックボックス化が発生しているという見方もできるだろう。
今回の調査から、AIを開発に利用する中で、コードの品質や脆弱性を自動でチェック、検知するツールの必要性を多くの人が認識していることが分かった。ただし、システムを管理する立場にある情報システム部門としては、ツール導入以外の施策も考えたいところだ。
情シスが求めた「コストの可視化」 検知の仕組みは7位にとどまる
レガシーシステムが抱える問題として指摘されているブラックボックス化が、AIを開発に利用することで拡大する可能性が指摘されている。改修を重ねてツギハギになり、設計書と実態がかい離して新たな機能追加や変更が難しくなる。どの業務にどのように使うシステムなのかが分からなくなる。なぜこの仕様になっているのか、設計意図が分からなくなる――。シャドーAIとまでいかなくても、ルールやガイドライン、履歴を残す環境が整備されないままでは、AIを使った開発でもブラックボックス化の進行が懸念される。
今回の調査で今後導入・強化した方がいい施策を尋ねたところ、最も多く選ばれた項目は「AI生成コードの品質や脆弱（ぜいじゃく）性を自動でチェック・監査するツールの導入」（53.8％）だった。2位は「トークン消費量や利用コストを部門別・プロジェクト別に可視化・制限できる管理ツールの導入」（30.2％）で、1位と2位に23.6ポイントの差が付いた。
回答者を情報システム部門に所属する人に絞ったところ、順位は変わらないものの得票率の差が6.9ポイントに縮小した（「AI生成コードの品質や脆弱（ぜいじゃく）性を自動でチェック・監査するツールの導入」が48.3％、「トークン消費量や利用コストを部門別・プロジェクト別に可視化・制限できる管理ツールの導入」が41.4％）。
AIを開発で利用するデメリットを尋ねた設問では、全体で「トークン消費や従量課金によって、開発全体にかかるコストが読みにくくなる」（25.5％）が4位に入っている。
コストを可視化することは、どのAIツールをどの部署の誰が使っているかを可視化することにもつながる。利用状況を可視化することは、トラブルの検知率を向上させる施策の第一段階になるのではないか。
一方、「AIの利用履歴や生成物のログを一元管理し、シャドーITを検知できる監視プラットフォームの導入」を選んだ人は全体で23.6％だった。トラブルが発覚した経緯を尋ねた設問で「情報システム部門の定常業務の中で検知した」が18.2％にとどまったことを踏まえると、現状で履歴やログを一元的に管理する環境が整備されていない企業は多く、今後の整備の優先度も高くはない可能性がある。
また、トラブルを抑制する上で重要な要素となるのが人材育成だが、「エンジニア向けの、AIと協働するためのプロンプト・アーキテクチャ設計スキルの教育プログラム」（20.8％）という項目は9位にとどまった。
AIを開発に利用するデメリットを尋ねた設問に対し、「若手や初学者の基礎的なスキルが育ちにくくなる」（39.6％）という項目は3位に入っていた（複数回答可）。これら2つを併せて考えると、AIを開発で利用することによって基礎的なスキルが育たないことが懸念されつつも、AIを利用した開発スキルの教育プログラムの優先順位は低い可能性がある。
「AIが作ったんだから、お前は苦労していないだろ」
ここまで、AIを開発に利用することへの懸念点とその対策を中心に見てきた。ただし、前編でも見てきた通り、AIを開発に利用している人の割合は34.9%と過半数に届いておらず、多くの企業はAIを開発に利用する環境をいかに整えるかが重要な段階にある。
フリーコメントには、「業務に必要なツールを作成しても、『AIが作ったんだから苦労していないだろ』と言われて評価されない」（その他業種、情報システム部門で導入・検討や運用に関わる立場）という声が寄せられた。この回答者は、自社の開発におけるAIの利用について「利用したことがあるが、現在は利用を取りやめた」と答えている。
アイティメディアが運営する「ITmedia エンタープライズ」が2026年に実施した読者調査の「企業のAI活用編」では、AIの利用に当たって環境・組織文化の面で障壁となるものとして「AIに関する理解や認識が社内で不足している」（40.6％）が最も多く挙がった。同調査では、この項目は前回調査から約13ポイント減少しており、一定の改善が見られた。一方、2位の「成果を測定・評価するための指標がない」（35.8％）の前年比での減少幅は約5ポイントだった。スキル・リソース面では「AIサービスを利用するスキルを持った人材がいない」（36.9％）が最多だった（注2）。
多くの企業がAI人材の不足を課題とする一方で、従業員の挑戦を後押しするための環境整備は後手に回っている。AIを使う人の働きが適正に評価されない状況が続く限り、AI人材が社内で育つことは期待できない。AI人材の市場価値が高くなる中、外部からの調達は難しくなるばかりだ。
（注1）今回の調査における「AIを利用した開発」は、AIコーディングツールやAIアシスタントによるコード補完、自律型AIエージェントによる開発自動化、バイブコーディングによるプロンプトベース開発、ローコード／ノーコードプラットフォーム内蔵AI、汎用（はんよう）AIチャットツールを利用した開発を指す。
（注2）ITmedia エンタープライズ読者調査 2026年7月「企業のAI活用編」（調査方法：ITmedia エンタープライズ Webサイト上の自記式アンケート、調査対象者：ITmedia エンタープライズ読者、回答数：360件、調査期間：2026年6月10〜24日）
Copyright © ITmedia, Inc. All Rights Reserved.
本記事は制作段階でChatGPT等の生成系AIサービスを利用していますが、文責は編集部に帰属します。