2023年8月3～8日（現地時間）にサイバーセキュリティカンファレンス「Black Hat USA 2024」がラスベガスで開催された。特にAIに潜むセキュリティリスクに話題が集まり、Copilot Sudioで開発したチャットbotの危険性が語られた。

　Tech系ニュースサイト「The Register」がこの件に関する記事を掲載した。それによれば、この問題を報告したのは、セキュリティ対策企業ZenityのCTOであるマイケル・バーガリー氏だ。

　同氏は、The Registerのインタビューで「Copilot Studioで安全なAIアシスタントを開発するのは非常に難しい。なぜなら、デフォルト設定が安全ではないからだ」とコメントした。また、Copilot Studioのデフォルト設定には問題があり、企業が開発したAIチャットbotが勝手にインターネットに公開されることがあるとバーガリー氏は指摘した。

　記事では、Zenityのマーケティング責任者であるアンドリュー・シルバーマン氏による調査結果にも触れられた。大企業（「Fortune500」選出企業）にはCopilot Studioで開発された約3000ものAIチャットbotが存在しており、その63％がインターネットに公開されているという。バーガリー氏は「Copilot Studioのデフォルト設定のせいで勝手にインターネットに公開されたと思われる数万体ものAIチャットbotを発見した」と述べている。

　問題なのは、それらのAIチャットbotが社内データを使ってトレーニングされたものだということだ。機密データを含む社内の情報を使ってトレーニングされたAIチャットbotが社外ユーザーに利用される恐れがあるという。企業が独自開発したAIチャットbotを社外の人間が勝手に使うことで企業データが漏えいし、サイバー攻撃に利用されるリスクもあるとバーガーリー氏は警告を発した。

　バーガリー氏は、Copilot Studioで開発されたAIチャットbotを悪用し、特定の従業員を狙ってメールアドレスを盗み出す「スピアフィッシング攻撃」の手口を解説した動画を公開している。その動画では、サイバー攻撃者がAIチャットbotと会話して従業員の名前を聞き出し、メールアドレスを入手する様子が撮影されている。チャットbotを使ってその従業員の書き方をマネてメール文章を作成し、マルウェアを添付して第三者に送りつけるというかなり生々しい内容だ。

　なおMicrosoftは、バーガリー氏らの指摘を受けてCopilot Studioのデフォルト設定を変更した。しかし、既に開発済みのAIチャットbotはデフォルト設定のままのため、あらためてインターネットへの公開設定を確認する必要がある。

　バーガリー氏は、「この問題は、企業におけるAIの導入がまだ初期段階にあることを示している。AIにデータへのアクセス権を与えること、それがプロンプトインジェクションの攻撃対象となり得る」と指摘した。また、豊富なデータを持つAIチャットbotについて「企業データが使われた“役に立つ”AIチャットbotは、秘密を漏らしやすい、つまり脆弱（ぜいじゃく）性があるということだ。脆弱性がなければ、それは“役に立たない”チャットbotだ」と述べ、利便性とセキュリティを両立することの難しさを強調した。

　なお、バーガリー氏とZenityの研究チームは、Copilot Studioで開発されたAIチャットbotをスキャンして情報を抽出できる「CopilotHunter」というツールと、脆弱性を確認できる「LOLCopilot」というツールを公開した。これらによって、開発されたAIチャットbotのセキュリティを確認できる。Copilot Studioを使ったAIチャットbotを運用しているなら、すぐにチェックしておきたい。

上司X：　Copilot Studioで開発されたAIチャットbotがキケンかも、という話だよ。

ブラックピット：　Copilot StudioでカスタマイズしたAIチャットbotがセキュリティリスクをはらんでいると。

上司X：　そうそう。デフォルトの設定によって勝手にインターネットに公開されていたらしい。

ブラックピット：　チャットbotなんですからネット越しに使えるのは当然でしょうけど、アクセス権のない社外の人も使えてしまうのは問題ですね。

上司X：　そういうことだ。

ブラックピット：　ちゃんと公開範囲の設定を確認する、みたいな対処も必要ですけどね。

上司X：　それはそうだが。でも、ローコード／ノーコードで簡単にオリジナルなCopilotを作成して公開できるのがCopilot Studioの魅力でもあるわけでさ。

ブラックピット：　いくら気軽でも、そういう弱点が明らかになっちゃうとちょっと残念じゃないですか。もう副操縦士は任せられませんよ！

上司X：　「copilot＝副操縦士」ってことでな。まあ、それは置いておくとしてだ、AIが知識を持てば持つほどその知識が漏えいする可能性は高まる。だからこそ、カスタマイズしたAIチャットbotは利用ユーザーの管理も重要になるわけだ。AIとうまくやっていくにはいろいろ気を遣わないといけないな。