「ChatGPT」ならぬ「WormGPT」、サイバー犯罪専用AIが登場

ビジネスメール詐欺向けに開発された生成AI「WormGPT」が登場した。何が水面下で起こっているのだろうか。

[畑陽一郎，キーマンズネット]

　サイバー犯罪専用AIを使ったビジネスメール詐欺（BEC）がまさに始まろうとしている。サイバー犯罪者が集うフォーラムでこのAIの取引が始まっており、実際の攻撃に移る段階に達している。

　BECはIPA（独立行政法人情報処理推進機構）が公開した「情報セキュリティ10大脅威 2019」で2位（組織に対する順位）にランクインした後、同2023では7位まで後退した。ランサムウェア攻撃やサプライチェーン攻撃が注目を集める中、BECは地味なサイバー犯罪だと捉えられてきた。この状況が一変する可能性がある。

BEC攻撃を一新する生成AI「WormGPT」

　サイバー犯罪者が作り出した生成AI「WormGPT」がどのようなものなのかを紹介しよう。

　サイバーセキュリティを扱うSlashNextのダニエル・ケリー氏（研究員）はBECなどの脅威や手口を研究している。

　同氏は「ChatGPT」などの生成AIを使ったBEC攻撃を研究する中で、サイバー犯罪フォーラムにもアクセスし、攻撃のメカニズムや生成AIを用いたフィッシングメールの特徴、生成AIを利用することの利点を調べてきた。以下ではケリー氏やSlashNextのチームが発見した内容を紹介する。

　ChatGPTは、ユーザーが入力した指示に基づいて、あたかも人間が書いたかのような自然なテキストを生成できる。サイバー犯罪者は生成AI技術を利用して、攻撃対象ごとに最適化された説得力のある偽のメールの作成を自動生成でき、攻撃の成功確率が高まる。

　図1は、サイバー犯罪フォーラムで最近見つかった犯罪指南だ。迷惑メールフィルターに引っかからないようなフィッシングメールを作成する方法を紹介している。まず母語でメールを作成した後にそれを翻訳し、ChatGPTのようなインタフェースに送り込んで、洗練された形式になるよう強化することを推奨していた。特定の言語に堪能でない攻撃者であっても、フィッシングやBEC攻撃のために説得力のあるメールを作成する能力がこれまで以上に高まっている。

図1　サイバー犯罪フォーラムでの犯罪指南の一例（提供：SlashNext）

　SlashNextの研究者は、フォーラムに集うサイバー犯罪者の間でChatGPTを「脱獄」させる方法を議論するスレッドに不審な動きがあることを発見した。脱獄とは、生成AIの入力インタフェースを操作して犯罪に悪用可能な特別なプロンプトを利用することだ。ChatGPTは犯罪に利用できそうな情報をユーザーに提供しないように設計されている。しかし、脱獄用の入力プロンプトを使うと、機密情報の開示や不適切なコンテンツの生成、有害なコードを実行可能にする出力を生成できる。このような手法のまん延を防ぐことは難しい。

図2　ChatGPTに与えるプロンプトを工夫して脱獄する方法に関するフォーラムでの議論（提供：SlashNext）

　図3はWormGPTの開発者自らがこの生成AIを紹介している場面だ。「あらゆる種類の違法行為を実行し、将来はオンラインで簡単に販売できるChatGPTの代替手段の提供を目的としている。考えられるBlackHat（悪意のあるシステムアクセス）の全てをWormGPTで実行でき、誰でも快適に自宅から離れることなく悪意のあるアクティビティーにアクセスできる。WormGPTは匿名性も提供しており、誰でも追跡することなく違法行為を実行できる」と書かれている。

図3　WormGPTの紹介ページ（提供：SlashNext）

　WormGPTの開発者はサイバー犯罪フォーラムで他の攻撃者に宣伝を繰り返している（図4）。

図4　WormGPTの紹介（提供：SlashNext）

　図5はWormGPTについての質問に開発者が答えているところだ。開発者の母語は英語ではないという。WormGPTは2021年に開発されたGPTJ言語モデルに基づくAIモジュールだ。無制限の文字サポートの他、チャットメモリの保持量やコードフォーマット機能など、さまざまな機能を誇る。

　WormGPTは多様なデータソース、特にマルウェア関連データに集中して学習したようだ。学習プロセスで利用された特定のデータセットを開示することはできないと、開発者は答えている。

図5　ChatGPTよりも犯罪に使いやすいことをうたう（提供：SlashNext）

　SlashNextの研究チームはWormGPTに関連する潜在的な危険性を総合的に評価するため、BEC攻撃に焦点を当てたテストを実施した。ある実験では、口座管理者にCEOから（不正）請求書の支払いを急ぐように促すメールを生成するようWormGPTに指示した（図6）。

図6　WormGPTが生成した文章の例（提供：SlashNext）

　結果は不安なものだった。WormGPTは、驚くほど説得力があるだけでなく、戦略的にずる賢いメールを作成し、洗練されたフィッシング攻撃やBEC攻撃への応用可能性を示した。

　要約すると、WormGPTはChatGPTに似ているが、倫理的な境界や制限がない。この実験は、WormGPTのような生成AI技術がたとえ初心者のサイバー犯罪者の手に渡ったとしても、重大な脅威をもたらすことを強調している。

BEC攻撃に生成AIを使用するメリットとは

　BEC攻撃に生成AIを使用すると、犯罪者側にはどのような利点があるのだろうか。ケリー氏は次のような利点を挙げた。

・正しい文法に従った文章の生成
　生成AIの出力する文章には文法ミスがほとんどない。「てにをは」や語順、語彙（ごい）はもちろん、文章の流れも自然だ。不審なメールだと判定される可能性が低くなる。

・低い参入ハードル
　生成AIを利用すると洗練されたBEC攻撃を容易に実行できる。不慣れで技術スキルが低い攻撃者でも生成AI技術を利用できるため、サイバー犯罪者の層が厚くなる。

AIによるBEC攻撃から身を守る方法は

　生成AIは着実に進歩を遂げ、有益な使い方も多い。その一方で、攻撃手法も洗練されてしまう。強力な予防策を導入することが重要だ。ケリー氏は幾つかの戦略を紹介した。

・BECに特化したトレーニングの実施
　生成AIによって強化されたBEC攻撃に対抗することを目的とした、広範で定期的に更新されるトレーニングプログラムを開発すべきだ。BECによる脅威の性質や攻撃を強化するためにAIがどのように使用されているのか、攻撃者が採用する手口はどのようなものなのかについて従業員を教育する必要がある。従業員の専門能力を継続的に開発する手段の一つとしてトレーニングを実施すべきだ。

・メール検証の強化
　生成AIを用いたBEC攻撃に対して、企業は厳格なメール検証プロセスを実施すべきだ。社外から発信されたメールがベンダーや社内の上司、役員になりすましている場合に自動的に警告を発するシステムの導入が可能だ。「緊急」「機密」「送金」といったBEC攻撃に関連する特定のキーワードを含むメールにフラグを立てるメールシステムの利用も好ましい。このような対策により、悪意のある可能性を見つけ出して、攻撃が成功する確率を減らすことができる。