1カ月の予算が1週間で溶けた……企業に聞く「当社は生成AIの『ここ』で失敗した」：生成AIの活用に関する調査（2026年）／後編
生成AIの活用が広がる一方で、現場ではシャドーAIや資源管理などの課題に依然として悩まされている。本稿では、経営層の理解不足や、効果をどのように測定するかという多くの企業が抱える課題について分析する。さらに、AIエージェントやRAGが、これらの課題をどのように解決し、次の活用フェーズへ導くのかを考察する。
生成AIの業務利用について、前編では利用率が約7割に達していることや、全体の8割が「生成AIは活用できる」と評価していることなどが明らかになった。後編でも引き続きキーマンズネットが実施したアンケート「生成AIの活用意向と課題（実施期間：2026年4月2日〜30日、回答件数：364件）」から、企業での活用事例やトラブル事例を整理するとともに、効果測定の難しさなど生成AI活用に関する課題を踏まえ、AIエージェントやRAGなどの技術が現場の課題解決にどうつながるのかを考察する。
「関心がない」「利用なし」の声から浮き彫りになった“生成AIを利用しない”ワケ
はじめに、生成AIの業務利用についての関心の有無を聞いたところ「大変関心がある」（61.0％）と「やや関心がある」（30.5％）を合わせ、91.5％が“関心がある”と回答した（図1）。一方、全体の約1割は「あまり関心がない」（6.6％）や「全く興味がない」（1.9％）としており、その理由をフリーコメントで聞いたところ大きく3つの意見が寄せられた。
1つ目は「経営層が生成AIを理解しておらず、経営戦略として言語化ができていないのでトップダウン、ボトムアップ共に何も進められない」や「ほとんどの経営層がIT音痴でリテラシーが低いため効果を想像できていない」「私は関心があるが、経営層はお金をかけたくないため絶対に導入しようとしない」に見られる”経営層の理解不足”を指摘する声だった。
2つ目は「利用場面が浮かばない」や「業務への利用価値が不明確」のような実用性や利便性に欠けるとの声で、それらを検討するための「事例が少ない」と嘆く声もあった。
最後に3つ目が「セキュリティが不安」や「まだ紙文化のため」「起きる問題点は過去に全く例がないことなので、AIといえどデータがない」など、セキュリティへの不安に加えアナログな社内風土が新しい技術の受け入れを拒んでいるケースもあった。
関連して、前編で生成AIサービスの利用状況が7割だった一方で、「利用する予定はない」（7.1％）も約1割の回答を得ていた。そこで、利用予定がない理由も聞いたところ「メリットを理解していない」（26.9％）や「業務での利用イメージが湧かない」（19.2％）、「従業員のガバナンス教育が面倒」（19.2％）「経営層の理解が得られない」（15.4％）が続き、前述の関心がない層と概ね同様の理由が続く結果となった（図2）。
このことから生成AIに「関心がない」「利用できない」とする方の多くは、生成AIそのものへの評価ではなく「AIを活用できる環境がないこと」に悲観的になっているケースも一定あるのではという仮説が立てられそうだ。
トラブル事例から見えてきた「3つの課題」とベンダーに求めること
次に、「生成AIサービス利用で発生した失敗やトラブル事例」をフリーコメントで聞いたところ、生成AIサービス利用における3つの課題が見えてきた。
1つ目は生成AIのアウトプットの精度やハルシネーションを中心としたトラブルだ。「コスト計算で間違った内容を生成AIから回答を受け、裏取りせずに第三者へ情報提供してしまった」や「AIの間違った回答を信じて、業務に使っていた」、「存在しない論文を提示された」があった。生成AIのアウトプットを検証せずに社内外で使用してしまいトラブルに発展するケースがあるようだ。「ハルシネーションが酷く、ファクトチェックに時間が掛かる」のように、使い方によってはファクトチェックにかかるコストが得られる生産性を超えてしまう、という課題も挙がっている。
2つ目はシャドーAIによるセキュリティリスクの拡大だ。「機密情報を使って生成AIに問いかけてしまった」や「顧客の資産をそのままコピーして生成AIへ提示してしまった」、「外部のAI SaaSでのオプトアウト設定忘れによる機密情報の入力」や「業務利用可能な生成AIを導入しているにもかかわらず、個人でフリーの生成AIを業務利用するというリスクが発生している」など、ユーザーのリテラシー不足はもちろん、企業がクローズド環境を用意していても利便性から個人利用をしてしまったり、オプトアウト設定をせずに機密情報を利用してしまったりする危険な事例が相次いでいる。
最後に3つ目は「利用可能件数を突破してしまい使いきれなかった。中身の把握までできなかった」や「契約しているプランが会社単位でクレジットを購入する形なのだが、そのクレジット1カ月分が1週間持たずに使い切ってしまった」に見られる資源管理の課題だ。生成AIの業務利用が浸透すればするほど利用頻度が増え、想定外のコスト負担が発生しているケースもあるようだ。また、効率化が進んでいるからこそ「改善を主張したら、顧客より改善分の値引きを期待されてしまった」など予期せぬ対外影響が生じてしまったケースもあった。
このような現場課題に対し別問で「ベンダーに求めること」を聞いたところ「情報の出典を確認しても明確な回答がない事があるので出典は明確にしてほしい」や「ブラックボックスのためのセキュリティはもちろん法的なリスクが回避できていることの証左を提示できないか」「ストレージを国内に限定してほしい」といったトレーサビリティの徹底やセキュリティの可視化へのニーズが多く寄せられた。
次点では「利用料金に見合う結果が出るかが分からず、課金しづらい」や「有償版の機能を展開したいが、コストが合わない」のように、企業規模や利用頻度に応じた“柔軟な法人プラン”の展開を求める声もあった。
生成AI「効果測定していない」が過半数……今後注目のツールで解消も？
こうした課題が見えてきたのも、裏返せば生成AIの業務利用が普及してきたからこそだ。では、生成AIを業務利用する企業ではどのように成果を評価しているのだろうか。
調査したところ「効果測定法が確立している」（7.9％）は1割以下に留まり、「効果測定法が分からず、測定できずにいる」（33.5％）や「効果測定をするつもりがない」（22.2％）といった“効果を測定していない”が55.7％を占めた（図3）。利用企業が増加する一方、多くの企業が効果測定できておらず定性的な感覚で評価しているのが実情のようだ。前項で触れたように利用ユーザーが増えコストがかさむようになっている現状からしても、今後はより費用対効果が問われるフェーズに移行すると考えられる。
ちなみに生成AIに関連するトレンドについて、現状で興味・関心を持っているものを聞いたところ「AIエージェント（エージェンティックAI）」（63.5％）、「RAG（検索拡張生成）」（39.0％）、「ローカルLLM（オンプレLLM）」（34.9％）、「AIガバナンス」（24.2％）、「フィジカルAI」（23.9％）が上位に続いた（図4）。
RAGやローカルLLMなど自社専用のAI環境を構築することで、課題に挙がっていたアウトプットの精度やセキュリティリスクに対応したり、最も票を集めた「AIエージェント」では生成AIをより自律的に動かし生産性を高めるためにフローに組み込もうとしたりする様子が見て取れた。またチャット形式のAIと比較して「完了タスク数」を成果として定量化しやすいこともあり、効果測定のしにくさという課題にも対応しようとする動きも見えた。
以上、企業における生成AIの利用状況をテーマに現状分析と今後の考察を展開した。企業活動にとって欠かせない存在となった生成AI。今後も注目して利用実態をモニタリングしていく。
Copyright © ITmedia, Inc. All Rights Reserved.