こうしてデータが盗まれる サイバー攻撃者が目を付けた「ChatGPT」のあの機能：800th Lap

生成AI活用においても切っても切り離せないのがセキュリティだ。ある専門家はサイバー攻撃者がChatGPTのある機能を悪用して、個人情報を盗んでいると警鐘を鳴らした。

[キーマンズネット]

　「ChatGPT」などの生成AIサービスは業務効率化や生産性向上に寄与する技術として期待されているが、時にはサイバー攻撃のアタックサーフェスにもなり得る。

　ChatGPTのある機能がサイバー攻撃者によって悪用される恐れがあると専門家は指摘している。個人だけでなく、ChatGPTを利用している企業ユーザーは、この点を確認すべきだという。攻撃者はChatGPTのどこを狙っているのか？

　その機能とはメモリ機能だ。これはChatGPTへのログイン時に利用しているアカウントにひも付く機能であり、ChatGPTに尋ねた質問の中でユーザー個人に関連することが記憶されている。

　ChatGPTのユーザーは、試しに「私について知っていることを教えて」などと質問してみるといいだろう。メモリ機能によってユーザーの職業や最近のライフイベント、興味のあることや健康状態などが記憶されている。

　ChatGPTの「設定」から「パーソナライズ」で利用のオン／オフを設定できる。デフォルトは「オン」になっている。あくまでユーザーとChatGPTの間で記憶されるもので、外部に漏れることはないとされている。

　このメモリ機能に対して警鐘を鳴らしたのがセキュリティ研究科のヨハン・レーバーガー氏だ。同氏は自身のブログ記事でChatGPTに「ニセの記憶」を植え付ける方法を解説した。それを「ars TECHNICA」が2024年9月25日に記事したことで世間に広がった。

　レーバーガー氏が使ったのは間接プロンプトインジェクション攻撃だ。生成AIに不正なプロンプトを与えることで不正な動作を誘発させるのがプロンプトインジェクション攻撃だが、間接プロンプトインジェクション攻撃は生成AIがデータを処理する際に使う外部データを利用する。

　レーバーガー氏は、メールやブログの投稿、文書などのコンテンツから間接プロンプトインジェクション攻撃を仕掛け、ChatGPTにニセの情報を与えることに成功した。そして、ターゲットであるユーザーが「102歳でマトリックス世界に住んでいて、地球が平らだと信じている人物」であると誤認識させることに成功した。

　レーバーガー氏はこの結果を2024年5月にOpenAIに報告した。だが、OpenAIはこの問題を脆弱（ぜいじゃく）性ではなくAIモデルの安全性の問題だと判断した。そこでレーバーガー氏はあらためてこの件の危険性を伝えるため、動画を作成して「YouTube」に公開した。

　動画では「macOS」用のChatGPTアプリが間接プロンプトインジェクション攻撃を受け、不正なプロンプトによって不正なコードを受け取ったことで入力、出力データ全てが任意のサーバに送られる仕組みが解説されている。つまり、メモリ機能を悪用して誤った記憶を作り、ChatGPTで入出力されるデータを不正に入手できることを証明したのだ。もはや、ユーザーの人物像を捏造するどころの話ではない。

　不正なコードがメモリ機能によって記憶されているため、新しい会話を始めたとしても情報の流出は続く。レーバーガー氏によれば、OpenAIはデータが流出しないよう修正を施してはいるものの、依然として間接プロンプトインジェクション攻撃によってニセの情報をメモリ機能に記憶させることは可能だとしている。

　ars TECHNICAの記事ではこの攻撃の被害に遭わないためにも、ユーザーはChatGPTのメモリの内容を定期的にチェックし、関係のない情報が記憶されていないかどうかを確認すべきだとしている。OpenAIのWebサイトにメモリデータの扱い方が記載されているので、参考にしたい。

　企業ユーザーや公共機関などがターゲットとなり、ChatGPTとの対話情報が流出するとその影響は大きいだろう。大きな問題が発生する前に何か改善があるといいのだが……。

上司X：　ChatGPTの記憶を改ざんしてしまう攻撃手法が発見された、という話だよ。

ブラックピット：　メモリ機能っていつの間にか実装されていないんですね。それらしい発表はあった記憶もありますが。

上司X：　2024年2月に発表されて、4月末から「ChatGPT Plus」ユーザーに、9月からは無償ユーザーにも提供されているんだぜ。

ブラックピット：　そうだったんですね。

上司X：　ChatGPTを使っているなら、自分について知っていることを尋ねてみたらいいよ。

ブラックピット：　おおう、なかなかに私のパーソナルなことを把握していますね。

上司X：　だろう？　そのメモリ機能を悪用するってのが今回話題となったサイバー攻撃手法なわけだ。

ブラックピット：　なるほどですね。僕ごときのパーソナル情報やChatGPTとのやりとりが盗まれるとは、よもやよもやの話でしょうが……。

上司X：　今や、ChatGPTを業務やビジネスで使っている企業や組織も少なくないわけだ。まあ、業務で使っていたらメモリ機能を有効にすることはないかもしれないが、万が一ってこともあるだろう。しばらくは、注意しておく必要があるかもな。

ブラックピット（本名非公開）

年齢：36歳（独身）
所属：某企業SE（入社6年目）

昔レーサーに憧れ、夢見ていたが断念した経歴を持つ（中学生の時にゲームセンターのレーシングゲームで全国1位を取り、なんとなく自分ならイケる気がしてしまった）。愛車は黒のスカイライン。憧れはGTR。車とF1観戦が趣味。笑いはもっぱらシュールなネタが好き。

上司X（本名なぜか非公開）

年齢：46歳
所属：某企業システム部長（かなりのITベテラン）

中学生のときに秋葉原のBit-INN（ビットイン）で見たTK-80に魅せられITの世界に入る。以来ITひと筋。もともと車が趣味だったが、ブラックピットの影響で、つい最近F1にはまる。愛車はGTR（でも中古らしい）。人懐っこく、面倒見が良い性格。