生成AIの驚異的な進歩が生む、誰も信じられない世界

画像1枚と音声データだけから自然な動画を作り出す生成AI技術が続々と登場してきた。このような技術は新しいユーザーインタフェースとして有望だ。だが、攻撃に使われた場合のことも考えておかなければならない。

[畑陽一郎，キーマンズネット]

　生成AI（人工知能）がビデオや音声、テキストを作り出す能力は急速に高まっている。この技術はAIと人との自然で密な連携を可能にするという利点がある。

生成AIを使った危険な攻撃とは

　だが危険なサイバー攻撃も生み出しつつある。人の弱さに付け込むタイプの攻撃だ。生成AIの現状はどこまで進んでおり、どこまで危険なのだろうか。

　まず、最新の生成AIの実力を見てみよう。

　Googleは2024年3月13日、生成AIシステム「VLOGGER」に関する論文を発表した。VLOGGERに人物の写真1枚と音声ファイルを入力することで、音声に合わせて顔の表情や身振りを交えながら話すリアルな動画を生成できる。

入力画像（左）と生成動画（右、クリックで動画再生）

　このような技術を開発しているのはGoogleだけではない。Microsoftは2024年4月16日、「VASA-1」を公開した。VASA-1に顔写真1枚と音声ファイルを与えたとしよう。すると、表情が自然に変化する生き生きとした話者の動画をリアルタイムで生成できる。音声ファイルの内容と唇の動きを同期させることに注力したという。

VASA-1の概念図　顔画像1枚と、音声クリップ1つ、制御信号のオプションを与えると、512×512ピクセルの動画を生成できる。制御信号では表情や視線の制御が可能だ。動画のフレームレートは40FPS

生成した動画の例（クリックで動画再生）

　既存の動画をつぎはぎしたり、動画の一部を改変したりするのではなく、静止画と音声ファイルから動画を生成できるこのような技術が製品化する日も近いだろう。このような技術は人間そっくりなアバターとリアルタイムにコミュニケートしながら、人と生成AIが協働するようなアプリケーションに役立つだろう。

企業内でどのような被害を生み出すのか

　パスワード管理サービスを提供するLastPassのマイク・コザック氏（シニアプリンシパル インテリジェンス アナリスト）によれば、サイバー脅威インテリジェンスのコミュニティーで、ディープフェイク技術の大規模な拡散と、詐欺師による企業や個人に対する使用の可能性について懸念があるという。

　ディープフェイクは生成AIを使用して既存の音声や映像のサンプルを利用して、ある人物が語ったり実行したりしていないことを動画として生成する技術だ。

　ディープフェイクはこれまで選挙や戦争などに関する偽情報キャンペーンで利用されてきた。だが、冒頭で紹介したようにディープフェイクに利用可能な生成AI技術は進歩しており、このような技術が犯罪者に拡散する可能性は高い。「ChatGPT」が入力に対して自然な文章を出力できることを考えれば、動画生成AIと組み合わせたときに危険な効果が生まれることが分かるだろう。

　なお、ここまで性能が高くないものであれば、すでに誰でも簡単にディープフェイクを作成できるWebサイトやアプリケーションが公開されており、今後、企業で被害が広がる余地が大きい。

　企業を狙ったディープフェイク攻撃は高度な生成AIが登場する以前から始まっている。2019年の初頭、英国に拠点を置く企業が音声ディープフェイクの被害に遭い、従業員が会社のCEOになりすました犯罪者に送金するよう説得されたと報じられた。この事例では24万3000ドルがだましとられたという。

　2024年に入ると攻撃に利用される技術が音声から動画に移り変わってきた。2024年2月4日のCNNの報道によれば、香港を拠点とする多国籍企業の財務担当者が、同社の最高財務責任者になりすました人物を含む参加者全員がディープフェイクでできたビデオ通話に参加し、その結果、詐欺師に2500万ドルを送金するようだまされた。

　コザック氏によれば、2024年4月10日、LastPass自体がディープフェイクによる攻撃を受けた。このような手口が広まっていること、そして全ての企業が警戒すべきことだということを認識してもらうために、コミュニティーと攻撃情報を共有することを決めたという。

LastPassのCEOになりすましたWhatsAppの画面。ディープフェイク音声が使われていた

　LastPassの場合、ある従業員がVoIP（Voice over IP）機能を備えたメッセージングソフトの「WhatsApp」を通じて、CEOになりすました攻撃者からディープフェイクを使用した一連の電話とテキスト、少なくとも1通のボイスメールを受信した。

高度なディープフェイクを防ぐにはどうすればよいか

　LastPassへの攻撃は成功しなかった。なぜなら通常のビジネスコミュニケーションに使われる経路とは異なっていたからだ。さらにソーシャルエンジニアリングの特徴があったこと（例えば緊急性の強要など）について従業員が疑念を抱いたためだ。従業員は偽CEOからのメッセージを無視し、社内のセキュリティチームにインシデントを報告した。

　ディープフェイクが国家に支援された攻撃者だけのものではなくなり、企業幹部になりすました詐欺キャンペーンに活用されるようになってきたことが、LastPassの事例からも分かる。

　ディープフェイクは人を直接狙う攻撃であり、従業員は指揮系統からの命令に従うよう条件付けられている。

　ディープフェイクに対応するには、LastPassの事例が役立つ。サイバーセキュリティソリューションを導入して攻撃を防止したり、安全性を高めたりすることは可能だ。だが、人の条件付けや判断ミスを誘うという攻撃の特徴を捉えた対応も進めるべきだ。

　上司からの指示や命令が通常の社内コミュニケーションチャネルと異なる経路から来ていないかどうかを注意することが大切だ。ソーシャルエンジニアリングを目的とした攻撃にはどのような特徴があるのかをあらかじめ把握しておく必要もある。疑問を感じたら、通常の社内コミュニケーションチャンネルを使って、上司の指示や命令を確認すべきだ。