生成AI導入失敗談 ハルシネーション、ガバナンス以外にもいろいろ【読者調査】：生成AIの活用意向と課題（2025年）／後編

過半数の企業が生成AIの利用を進めているが、実際業務ではどのように利用されているのか。キーマンズネットの調査「生成AIの活用意向と課題」から、現場での活用事例や失敗やトラブル事例を取り上げる。

[キーマンズネット]

　前編で過半数の企業が生成AIの利用を進めていることが明らかになったが、実際業務ではどのように利用されているのだろうか。キーマンズネットが実施した「生成AIの活用意向と課題」に関するアンケート（実施期間：2025年1月14日〜2月3日、回答件数：237件）から、現場での活用事例や失敗やトラブル事例を取り上げる。

過半数が「効果を測定していない」と回答……その理由とは？

　全体の約4割であった「勤務先で生成AIサービスを利用している」との回答者に対し、サービス利用における効果測定法について聞いたところ「効果測定法が確立している」はわずか3.4％にとどまり、「効果測定法が分からず、測定できずにいる」（35.4％）や、そもそも「効果測定をするつもりがない」（29.5％）などの効果を測定していない方が過半数である実態が明らかになった（図1）。

図1：利用中の生成AIサービスの「効果測定方法」

　この結果を従業員規模別でみると、500人以下の中堅・中小企業帯で「効果測定法が分からず、測定できずにいる」が高く「効果測定法が確立している」が低い傾向にあり、反対に5001人を超える大企業では「効果測定法が分からず、測定できずにいる」が低く、代わりに「効果測定法が確立している」や「効果測定をするつもりがない」が高い傾向にあった。

　背景には比較的早期に導入が進んだ大企業群においては効果測定法の検討も進められ「自社としてどうするか」の結論が既に出ているケースが多いのだと推察される。

　また別の視点として、この結果を生成AIサービスの利用用途別にみてみると、「社内外の問い合わせ」で利用しているケースでは「効果測定法が確立している」が最も高く、反対に「効果測定をするつもりがない」が約1割と低い傾向にあったが、「調査、情報収集」や「翻訳」で利用しているケースでは「効果測定法が確立している」が低い代わりに「効果測定をするつもりがない」が3割を超えるといった傾向がみられた。業務によって効果測定のしやすさや効果が現れるまでの時間にも違いが出るということは、効果測定法を検討する上で重要なポイントとなるだろう。

生成AIはビジネスに「活用できるレベル」なのか？

　ただし、効果測定法が確立していなくとも効果測定をする必要がなくとも、生成AIサービスは業務に「活用できる」とする見方が大半だ。「生成AIは業務やビジネスで活用できるレベルであるか」を聞いたところ「未熟であり、活用できるレベルではない」は14.3％にとどまり、「十分に活用できるレベルである」（10.5％）や「課題はあるが活用できるレベルである」（50.6％）を合わせ、61.1％が活用できると回答したのだ（図2）。

図2：生成AIは業務やビジネスで活用できるレベルか

　一方、業務で「活用できるレベルではない」とした方からは、成果物に対する正確性への懸念が多く寄せられた。具体的には「ミッションクリティカルな分野でのハルシネーション発生が許容できない」や「学習データの学習先の権利問題が未解決で生成データの正確性にも問題が生じる」など、生成AIの成果物に誤情報が含まれてしまうハルシネーションや、学習・開発時の利用データ、生成データの著作権リスクへの不安が多かった。

　他にも「専門技術領域においては回答の精度が不足」や「業種毎の専門的な情報を持たないため成果物が実用にならない」のように、専門領域における学習データの少なさもあってか成果物の精度が実用に満たないとの声もあった。

　また「十分役に立つ回答を引き出せるような質問を作れない」や「求めている回答を引き出すことに苦慮している」にみられるように「依頼する側が依頼する内容について解像度高く明確に言語化できるかどうかで、AIよりもAIに依頼する側の問題」との指摘も少なくなかった。

237人に聞いた「生成AI利用の失敗事例」から学ぶこと

　生成AIの正確性に対して懸念を持つ背景には、失敗事例として取り上げられ耳目に触れる機会も多くなってきたことが挙げられるだろう。事実、今回の調査でも「生成AIサービス利用で発生した失敗やトラブル」として同様のケースがいくつか寄せられた。参考までにいくつか紹介したい。

　最も多かったのは、生成AIの成果物に誤解釈やバイアスが含まれており対応に迫られたという事例だ。「出典元のリンク先が誤っている」や「最新情報でなかった。問い合わせに対して間違った回答がある」ことで、「精査にかなり時間がかかる」「生成AIの回答を確認もせずにうのみにしてしまうユーザーがいる」などの手間やリスクが生じたシーンがあるようだ。

　原因を分析して「学習データが十分ではない」や「プロンプト（命令文）の書き方にコツがいる」とする声や「プロンプトの書き方にコツがいるというよりは、自分が依頼したいことをどれだけ解像度高く言語化できるかという事に依存」との意見もあった。またそもそも「プロンプトエンジニアリングが確立されるまでの非効率な運用」自体が失敗事例そのものであると捉える回答者もいた。

　他にも「社外秘の情報を使用してしまった」や「秘密情報を処理したいが、情報セキュリティ関連で手が付けられないため一番効果が出そうな場面で利用できない」などの回答にみられるデータのプライバシー問題や、「コストが従量制で意識しないで使いすぎると予想を超えた請求があり、予算計画の推進が難しい」とコストの増加を問題視する意見もあった。

　ここまで失敗事例として紹介してきた点は、そのまま現状「生成AIを業務やビジネスで利用する際の障壁」となっており、同様にフリーコメントでは「今後解決すべき課題」や「ベンダーに求めること」として要望が挙がっていた点でもある。

　例えば「社内データをクラウドの学習に使用される危険がある」や「検索時の入力による機密情報の漏えい」といったセキュリティリスクに対しては「情報漏えいがないような仕組みを整備して欲しい」や「学習データとして利用されるのは構わないが、範囲などを明確にしてほしい」「法的な整備が必要」などの要望として、「プロンプトの使い方の個人差がある」課題については「調べ方をもっとやり易くフォーマット化して欲しい」や「複雑なプロンプトの書き方の講習などをもっと積極的にやってほしい」との意見が寄せられていた。

　また、導入や運用コストについても「安価、定額でAPIを利用したい」や「より安価に活用事例を多く公開して欲しい」といった要望が聞かれた。

　以上、今回の記事では前後編にわたり活用事例と失敗事例を取り上げ、生成AIサービスについて期待と不安が入りまじる企業の実情を紹介した。自社では生成AIをどのように捉え対応していくのか、検討に役立ててもらえると幸いだ。