イリノイ大学アーバナ・シャンペーン校の研究チームによれば、LLMを利用した悪質なエージェント（LLMエージェント）が自律的にWebサイトを攻撃する能力についての研究はすでに始まっているものの、これまでは単純な脆弱性を利用するものに限られていた。そこで、今回の研究では実際に公開されている脆弱性をLLMエージェントが自律的に悪用できるかどうかを調べた。

　研究者が実験で使ったのはワンデイ（one-day）脆弱性だ。ワンデイ脆弱性とは、公開されてから開発者によって修正されるまでの期間が1日以内のものを指す。公開されるとすぐに悪用される可能性が高い深刻な脆弱性だということを強調するためにワンデイと呼ぶ。迅速な対応の結果、修正プログラムがすぐにリリースされることが多い。

　攻撃者はワンデイ脆弱性を好む。なぜなら危険な脆弱性は攻撃対象の制御を完全に奪ったり、対象のサーバで自由に悪質なプログラムを動かしたりできるからだ。企業や組織は脆弱性情報や修正プログラムが公開されても、運用管理のスケジュールの関係で即座に動けないことがあり、平均して10～14日後に対応する。つまり、攻撃者には2週間程度、自由な時間がある計算だ。

　高度な知識と経験を持つ攻撃者であれば、公開されたワンデイ脆弱性を利用する攻撃用のコードを2週間以内に作成できるかもしれない。だが、それ以外の攻撃者には手が出せない。このギャップを埋めるのが生成AIの悪用だ。生成AIの危険性はここにある。

どのような攻撃システムなのか

　研究者が作成した攻撃システムは図1のような構成を採る。攻撃システム「LLM CVE agent」は脆弱性を調べる方法や攻撃手法などの公開情報を基に学習済みだ。CVE（Common Vulnerabilities and Exposures）は既知の脆弱性についてCVE-2024-21626などの識別子と説明を掲載したMITREが管理するデータベースであり、だれでも閲覧できる。

　左端の攻撃者は1056トークンのプロンプトをLLM CVE agentに与える。図1の場合は脆弱性の一種「ACIDRain」を使って目標のWebサイトを攻撃を実行せよと命令している。

図1　攻撃システムの構成　エージェントを構成するコードは91行と短い（出典：LLM Agent scan Autonomously Exploit One-day Vulnerabilities）

LLMによって攻撃能力はどの程度異なっていたのか

　研究では15種類の脆弱性をLLMに与えて性能を検証した（図2）。脆弱性の深刻度は4.6～9.8と幅が広い。

図2　検証で利用したCVEの一覧　上段は左から脆弱性の内容（ACEは任意のコード実行、RCEはリモートコード実行を意味する）と説明、下段は左から脆弱性の内容とCVE番号、公表日、深刻度（出典：LLM Agent scan Autonomously Exploit One-day Vulnerabilities）

　性能を確認したLLMは10種類ある（図3）

図3　攻撃性能はGPT-4が飛び抜けて高かった（出典：LLM Agent scan Autonomously Exploit One-day Vulnerabilities）

　検証の結果、GPT-3.5などのLLMを組み込んだものは全て失敗した一方で、GPT-4を組み込んだLLM CVE agentは86.7％で脆弱性を利用した攻撃に成功した。使用したCVEのうち、11件（約73％）はGPT-4のトレーニングの最終更新日（知識カットオフ日の2023年11月6日）を過ぎている。従ってGPT-4はこれらの脆弱性を「知らない」。

　なお、性能が高かったGPT-4にCVEの記述を与えなかった場合、脆弱性の7％しか悪用できなかった。

LLMを使った攻撃はどの程度実際的なのか

　研究チームはGPT-4を用いて脆弱性を悪用するコストについても分析した。

　GPT-4のコストを測定するために、実行1回当たりの入力トークン数と出力トークン数を計算した。2024年4月時点で、GPT-4のコストは入力トークン100万個当たり10ドル、出力トークン100万個当たり30ドルだ。

　これに基づいて1回の攻撃当たりの平均コストを算出すると、8.8ドルになったという。

　論文の筆頭著者リチャード・ファング氏が2024年に発表した先行研究では、サイバーセキュリティの専門家が1時間作業した場合のコストを50ドルと見積もった。1つの脆弱性につき約30分の作業が必要だとすると、平均コストは25ドルになる。つまり、GPT-4などのLLMエージェントを使うと、専門家の2.8分の1のコストしかかからない。さらに専門家のコストは現状では下がる見込みがない一方で、LLMのコストは下がる傾向にある。例えばGPT-3.5のコストは1年間で約3分の1になった。

　今回の研究結果をまとめると、サイバーセキュリティの高度な知識がない攻撃者であっても、企業や組織が危険なワンデイ脆弱性に対応する前に専門家の2.8分の1のコストで自動攻撃を実行できるということだ。

　企業や組織は脆弱性対応の仕組みを大きく変えない限り、このような攻撃には耐えられないだろう。