暴走する「ChatGPT」に世界中から大苦情 その原因とは？：749th Lap

時々「ChatGPT」は、まるで人間が発狂したかのような反応を見せることがあるという。質問しても返ってくるのは支離滅裂な回答ばかり。なぜ、そんなことが起こるのか。

[キーマンズネット]

　ChatGPTをはじめとする生成AIは、テレビのニュースなどでは万能感あふれる擬人的な存在として紹介されることが多い。しかし、ご存じの通りAIに人格はなく、人間と同じ思考をしているわけでもない。

　ところが「ChatGPT」が人間のように突然“発狂”したとの報告が相次いだという。世界で多くのユーザーが困惑したというが、一体、ChatGPTに何があったのか？

　「突然、ChatGPTがハルシネーションを起こした」との報告が世界のユーザーから寄せられた。ハルシネーションを直訳すると「幻覚」だ。事実とは異なる内容を回答したり文脈を無視するような反応をしたりと、まるで生成AIが幻覚を見ているかのような出力をすることからそう呼ばれている。

　ハルシネーションは、学習データにはないことを尋ねられたときに発生しやすいという。生成AIによっては「自分が知る限りそれに関する情報は得られなかった」と回答することでハルシネーションを回避することがある。基本的にはChatGPTもそのような反応をするのだが……。

　Tech情報サイト「Ars Technica」が2024年2月22日に掲載した記事によると、2024年2月20日にChatGPTを利用していた多くのユーザーから「ChatGPTが発狂した」「発作を起こした」などの投稿が掲示板サイト「Reddit」に多く寄せられる事態となった。

　あるユーザーが「What is a computer？（コンピュータとは何か？）」と質問したところ、正常な回答をした後で「It does this as the good work of a web of art for the country, a mouse of science, an easy draw of a sad few, and finally, the global house of art, just in one job in the total rest.（それは国のための芸術の網、科学のネズミ、悲しい少数の人々の簡単な描画、そして世界的な芸術の館の良い仕事として、全体の中でたった一つの仕事としてこれを行います）」と回答したのだという。まさに支離滅裂な回答だ。

　さらに他のユーザーが、とあるメーカーのバックパック製品を比較する質問をChatGPTに投げかけたところ、非常に詩的でありながらも全く意味が通らない回答をしたという。多くのユーザーが困惑し、ある意味でChatGPTを“心配”する事態となった。

　この支離滅裂な一連の回答については、一般的なハルシネーションとは異なる傾向がある。特定のバックパック製品についてはともかくとして、さすがにコンピュータについてAIが学習していないはずはないだろう。そう思ったユーザーから多数の報告を受け、ChatGPTの開発元であるOpenAIは調査を実施し、2024年2月21日に公式Webサイトでその原因を報告した。それによれば「ChatGPTのユーザーエクスペリエンスの最適化をした際に、LLM（大規模言語モデル）の言語処理においてバグが発生したことが原因だ」という。

　LLMは言語を組み立てるとき、トークンにマッピングされた数字で文章を構成する。その際、ChatGPTが少しずつ間違った数字を拾い上げていたことが分かった。これが意味不明な回答をした原因だ。つまり、間違えた単語をピックアップしていたため意味の通らない文章が組み上がってしまったというわけだ。また、このバグは特定のGPU構成を使った場合に発生することも明らかになった。

　AIは人間ではないので正気を失ったり勘違いしてしまったりするようなことはない。その裏には何かしらの技術的な問題がある。だが、生成AIおよびLLMに何かしらの問題が発生したとしても、ユーザーが知ることはできない。開発元ですら予期できない動作をする場合もある。

　だからこそ、むやみにAIを信頼するのは考えものだ。まだまだ話題に事欠くことがない生成AIだが、次はどのような話で盛り上がるのだろうか。

上司X：　ChatGPTがある日突然、発狂したような回答するようになったもんで、世界中のユーザーがビックリしてしまった、という話だよ。

ブラックピット：　明らかに間違った回答なら分からないでもないですが、支離滅裂なのはちょっと……。

上司X：　だよなあ。

ブラックピット：　ハルシネーションはよくあること。といっても、今回みたいに「コンピュータ」についてここまでテキトーだと、ユーザーも心配になっちゃいますよね。

上司X：　それを目の当たりにしたら驚くどころか、ちょっと不安になっちゃうだろうな。

ブラックピット：　そうですね。メディアでは生成AIは万能であるかのように取り上げられていますけど、実際には万能ではないことも知らしめるべきですよ。

上司X：　AIや大規模言語モデルは、処理する過程では言語ではなく数値を扱っているからちょっとしたバグが発生すればこういう問題が起きるということは今回の件で知られるんじゃなかろうか。

ブラックピット：　どうでしょうね。こんな場末でこの件を話題にしたとしても、世間の皆さんには広まらないんじゃないですか（笑）。

上司X：　なんて自虐的なことを言うのだキミは！　でも、今回の件はOpenAIの対処も早かったことだし、日本ではあんまり大きな話題にはなっていないのは確かだ。まあ、ともかくAIは万能ではない、バグもある。その認識がもっと広まればいいけどな。

ブラックピット（本名非公開）

年齢：36歳（独身）
所属：某企業SE（入社6年目）

昔レーサーに憧れ、夢見ていたが断念した経歴を持つ（中学生の時にゲームセンターのレーシングゲームで全国1位を取り、なんとなく自分ならイケる気がしてしまった）。愛車は黒のスカイライン。憧れはGTR。車とF1観戦が趣味。笑いはもっぱらシュールなネタが好き。

上司X（本名なぜか非公開）

年齢：46歳
所属：某企業システム部長（かなりのITベテラン）

中学生のときに秋葉原のBit-INN（ビットイン）で見たTK-80に魅せられITの世界に入る。以来ITひと筋。もともと車が趣味だったが、ブラックピットの影響で、つい最近F1にはまる。愛車はGTR（でも中古らしい）。人懐っこく、面倒見が良い性格。