ChatGPTが突然バグる、入れてはいけない「NGワード」とは？：809th Lap

ChatGPTにあるワードを入れて質問すると「応答を生成できません」と返され、不審な動きをしたという。どうやら、ChatGPTをバグらせる「NGワード」があるらしい。

[キーマンズネット]

　生成AIには「ハルシネーション」（幻覚）という弱点があることは周知の通りだ。誤った情報を生成してしまう厄介な現象だ。

　ChatGPTにハルシネーション由来の「NGワード」が存在すると話題になっている。そのワードが入力された途端、ChatGPTは応答を停止してユーザーとの会話が強制終了されてしまうという。そのNGワードとは？

　ChatGPTに特定の人物名を入力すると動作が停止してしまう現象が確認された。回答に困る、回答できないというレベルではなく、突然チャットが停止してしまうという。

　この問題が明らかになったきっかけは、2024年11月26日に掲示板「Reddit」に投げかけられた、「なぜ“David Mayer”という名前がChatGPTで使えないの？」という質問だった。

　質問の投稿者によれば、デヴィッド・マイヤー氏のことをChatGPTに尋ねると「I'm unable to produce a response」（応答を生成できません）、「There was an error generating a response」（応答の生成中にエラーが発生しました）と表示され、チャットが強制終了したり会話が途中で止まったりしたという。これをメディアが取り上げたことで、拡散された。

　掲示板に集うユーザーらの投稿によると、ChatGPTにエラー発生させる人名は「David Mayer」の他、「Jonathan Turley」や「Jonathan Zittrain」「Brian Hood」「David Faber」「Guido Scorza」でもChatGPTは同様の反応を示したという。

　これは明らかに人名によるフィルタリングブロックがかかっていると、Tech系ニュースサイト「Ars Technica」は伝えた。そしてフィルタリング対象の「Brian Hood」（ブライアン・フッド）という人物名に見覚えがあるという。ブライアン・フッド氏はオーストラリアのとある地方都市の市長であり、ChatGPTの開発元であるOpenAIを名誉毀損（きそん）で訴えようとしていた。2023年10月24日、Ars Technicaはそれに関する記事を掲載した。

　訴えを起こそうとしたのは、ChatGPTがフッド氏に関するウソの情報を回答したからだ。同氏のことをChatGPTに尋ねると「贈収賄で刑務所に入った」などと誤った回答が返ってきた。実際は、フッド氏は企業の不正行為を調査する内部告発者として活動しており、ChatGPTの回答は全くの間違いだ。同氏は弁護士を通じてOpenAIに通告し、AIを改善するか自身の名前をフィルタリングするかを迫った。

　つまり、OpenAIとモメごとを起こしている人物名がChatGPTのフィルタリングリストに追加され、エラーが生じるのはそのためだ。

　マイヤー氏は、当初、あのロスチャイルド家のデヴィッド・メイアー・ド・ロスチャイルド氏ではないかと推測されていたが、OpenAIの広報担当が『Guardian』のインタビューに答えたところ、誤って「David Mayer」をフィルタリングリストに登録してしまったという。なお当該フィルターは既に解除されている。

　もちろん生成AIに完全な正解を求めることは無理な話であり、間違いを生成することもままあることだ。だからと言って、特定の人物名をフィルタリングすることで問題が解決するわけではない。黎明（れいめい）期にある生成AIなだけに、今後の正しい対策がどうなっていくかを見守りたいものだ。

上司X：　ChatGPTに人名フィルタリングがあって、そのせいでチャットが停止してしまうことがある、という話だよ。

ブラックピット：　なんでしょうねえ。特定の人名が地雷になるという。

上司X：　仕方ないよね。だいたいOpenAIとなんやかんやあった人が、自分の名前で妙な回答を生成するな、という主張をしているわけだから。

ブラックピット：　最初に問題になったデビッド・マイヤーさんは結局何かミスだったみたいですけど。

上司X：　それはそうらしいな。ロスチャイルド家には関係なかったようだ。

ブラックピット：　それはよかったです。僕はロスチャイルド家がよく分かってないのですが。

上司X：　俺もだよ。

ブラックピット：　そんなデビッド・マイヤーさんのことは取りあえず置いておいて、生成AIにとってフィルタリングは果たして正しい制御なのでしょうか。そして、システム停止はタチの悪いバグなのでは？

上司X：　うーん。明らかにハルシネーションの産物だとしたら、フィルタリングも仕方ないかもね。ただ、それで便利な機能を享受できなくなるのはいただけないかな。取りあえず、会話がクラッシュしなくなるよう対処してほしいものだよ。

ブラックピット（本名非公開）

年齢：36歳（独身）
所属：某企業SE（入社6年目）

昔レーサーに憧れ、夢見ていたが断念した経歴を持つ（中学生の時にゲームセンターのレーシングゲームで全国1位を取り、なんとなく自分ならイケる気がしてしまった）。愛車は黒のスカイライン。憧れはGTR。車とF1観戦が趣味。笑いはもっぱらシュールなネタが好き。

上司X（本名なぜか非公開）

年齢：46歳
所属：某企業システム部長（かなりのITベテラン）

中学生のときに秋葉原のBit-INN（ビットイン）で見たTK-80に魅せられITの世界に入る。以来ITひと筋。もともと車が趣味だったが、ブラックピットの影響で、つい最近F1にはまる。愛車はGTR（でも中古らしい）。人懐っこく、面倒見が良い性格。