それはメモリ機能だ。これはChatGPTへのログイン時に利用しているアカウントにひも付く機能であり、ChatGPTに尋ねた質問の中でユーザー個人に関連することが記憶されている。

　ChatGPTのユーザーは、試しに「私について知っていることを教えて」などと質問してみるといいだろう。メモリ機能によってユーザーの職業や最近のライフイベント、興味のあることや健康状態などが記憶されている。

　ChatGPTの「設定」から「パーソナライズ」で利用のオン／オフを設定できる。デフォルトは「オン」になっている。あくまでユーザーとChatGPTの間で記憶されるもので、外部に漏れることはないとされている。

　このメモリ機能に対して警鐘を鳴らしたのがセキュリティ研究家のヨハン・レーバーガー氏だ。同氏は自身のブログ記事でChatGPTに「ニセの記憶」を植え付ける方法を解説した。それを「ars TECHNICA」が2024年9月25日に記事にしたことで世間に広がった。

　レーバーガー氏が使ったのは間接プロンプトインジェクション攻撃だ。生成AIに不正なプロンプトを与えることで不正な動作を誘発させるのがプロンプトインジェクション攻撃だが、間接プロンプトインジェクション攻撃は生成AIがデータを処理する際に使う外部データを利用する。

　レーバーガー氏は、メールやブログの投稿、文書などのコンテンツから間接プロンプトインジェクション攻撃を仕掛け、ChatGPTにニセの情報を与えることに成功した。そして、ターゲットであるユーザーが「102歳でマトリックス世界に住んでいて、地球が平らだと信じている人物」であると誤認識させることに成功した。

　レーバーガー氏はこの結果を2024年5月にOpenAIに報告した。だが、OpenAIはこの問題を脆弱（ぜいじゃく）性ではなくAIモデルの安全性の問題だと判断した。そこでレーバーガー氏はあらためてこの件の危険性を伝えるため、動画を作成して「YouTube」に公開した。

　動画では「macOS」用のChatGPTアプリが間接プロンプトインジェクション攻撃を受け、不正なプロンプトによって不正なコードを受け取ったことで入力、出力データ全てが任意のサーバに送られる仕組みが解説されている。つまり、メモリ機能を悪用して誤った記憶を作り、ChatGPTで入出力されるデータを不正に入手できることを証明したのだ。もはや、ユーザーの人物像を捏造するどころの話ではない。

　不正なコードがメモリ機能によって記憶されているため、新しい会話を始めたとしても情報の流出は続く。レーバーガー氏によれば、OpenAIはデータが流出しないよう修正を施してはいるものの、依然として間接プロンプトインジェクション攻撃によってニセの情報をメモリ機能に記憶させることは可能だとしている。

　ars TECHNICAの記事ではこの攻撃の被害に遭わないためにも、ユーザーはChatGPTのメモリの内容を定期的にチェックし、関係のない情報が記憶されていないかどうかを確認すべきだとしている。OpenAIのWebサイトにメモリデータの扱い方が記載されているので、参考にしたい。

　企業ユーザーや公共機関などがターゲットとなり、ChatGPTとの対話情報が流出するとその影響は大きいだろう。大きな問題が発生する前に何か改善があるといいのだが……。

上司X：　ChatGPTの記憶を改ざんしてしまう攻撃手法が発見された、という話だよ。

ブラックピット：　メモリ機能っていつの間にか実装されているんですね。それらしい発表はあった記憶もありますが。

上司X：　2024年2月に発表されて、4月末から「ChatGPT Plus」ユーザーに、9月からは無償ユーザーにも提供されているんだぜ。

ブラックピット：　そうだったんですね。

上司X：　ChatGPTを使っているなら、自分について知っていることを尋ねてみたらいいよ。

ブラックピット：　おおう、なかなかに私のパーソナルなことを把握していますね。

上司X：　だろう？　そのメモリ機能を悪用するってのが今回話題となったサイバー攻撃手法なわけだ。

ブラックピット：　なるほどですね。僕ごときのパーソナル情報やChatGPTとのやりとりが盗まれるとは、よもやよもやの話でしょうが……。

上司X：　今や、ChatGPTを業務やビジネスで使っている企業や組織も少なくないわけだ。まあ、業務で使っていたらメモリ機能を有効にすることはないかもしれないが、万が一ってこともあるだろう。しばらくは、注意しておく必要があるかもな。