何でもできちゃうChatGPTの思わぬ「死角」：705th Lap

OpenAIからリリースされた話題の「ChatGPT」。試験問題やパズルを解いたり、さらにはゲームをプレイしてみたりと大活躍だ。だが、万能と思われていてもアレだけは苦手なようだ。

[キーマンズネット]

　リリース以降、連日話題の「ChatGPT」。自然言語処理に長けていることから人間の質問にも自然かつ的確な受け答えができ、優秀なチャットbotとして大人気だ。

　万能だと思われるChatGPTにも、実は“死角”が存在することが分かった。人間が作ったものなのだからもちろん弱点はあるとは思うが、今の時点でそれが見つかるのは意外でもある。実際にこれをChatGPTに命令して、的確な答えが返ってくるかどうかを試してみるのも面白いかもしれない。

　アイルランドのゴールウェイ大学でコンピュータサイエンスを研究するミッシェル・マッデン（Michael Madden）教授によれば、ChatGPTは、パズルゲーム「Wordle（ワードル）」が苦手なのだという。同氏はそのことに気付き、研究者とジャーナリストによるWebメディア「The Conversation」に記事を投稿した。

　Wordleは、Redditの元従業員でソフトウェアエンジニアのジョシュ・ワードル氏が開発したWebベースのパズルゲームで、5文字の英単語を推測するというもの。多くのプレイヤーが自身の成績を「Twitter」に投稿するようになり、そこからWordleの人気が一気に広がった。そして、2022年1月にThe New York Timesが数億円で買収し、同社のWebサイトで遊べるよう公開した。

　プレイヤーに与えられたチャンスは6回。コツは、どこにどの文字が使われているかというヒントを効率よく得ることだ。まず適当な5文字の単語を入力して、そこから正解に含まれる文字が判明すれば、その文字がヒントとなる。間違った文字は選択できなくなるので、それもまたヒントとなる。こうして6回のチャンスで5文字の単語を当てる。

緑色：文字と位置が正解、黄色：文字は合っているが位置が違う、グレー：使わない文字（出典：The New York TimesのWebサイトのキャプチャー）

　言語モデルをベースとしたChatGPTにはたやすいことにも思えるが、マッデン教授の記事によると、「○E○L○」と（○は不明な文字）いう状態から、最新の言語モデル「GPT-4」を使って正解となる単語を推測させた。正解は「MEALY」だったのだが、ChatGPTは「beryl」「feral」「heral」「merle」「revel」「pearl」と回答した。「L」の位置は4番目なのだが、ChatGPTの出した答えはどれも「L」が5番目にくるものばかりだった。「○○OS○」では推測に成功したが、「○R○F○」では不正解だった上に、辞書にない単語「traff」を提案してきた。

　マッデン教授はなぜChatGPTがWordleを苦手とするのかを考えた。ディープニューラルネットワークを中核とするChatGPTが、インプット情報を基に文字をマッピングして出力するには複雑な数学的な処理が必要となる。つまり、ChatGPTは言葉を数字に翻訳することで言語を扱っている。

　翻訳には「トークン」と呼ばれる単語と、文字列の膨大なリストをIDとして処理する「トークナイザー」と呼ばれるプログラムが使われている。例えば、「friend」という単語のトークンIDは6756であり、「friendship」は「friend（トークンID：6756）＋ship（トークンID：6729）」に分解されてChatGPTの内部で処理される。

　ChatGPTはユーザーの質問を全て数字に翻訳してから内部で処理しているだけであり、実際の文字を直接把握しているわけではない、というのがマッデン教授の考えだ。また、同氏によれば、GPT-4は約5000億語もの単語でトレーニングされているが、把握しているのは各単語の頭文字のみであり、その単語を直接推測するのは難しく、回文を作ることも苦手だという。

　マッデン教授は、今後ChatGPTが覚えている全ての単語においてトレーニングを拡張し、「どの文字が何文字目にあるか」をマッピングさせることで文字推測が可能になると提案する。また、Wordleのような文字の推測を正確にこなすためには、外部ツールとの連携が解決策になるとしている。

　ChatGPTの用途において文字の推測がどこまで重要なのかは分からないが、マッデン教授の提言通りに機能を拡張すれば、ChatGPTに死角はなくなるかもしれない。

上司X：　あのChatGPTに弱点が見つかった、という話だよ。

ブラックピット：　文字推測が苦手だと。なんともビミョーな弱点ですねえ。

上司X：　でも、弱点があるぐらいが可愛げあるってものでさ。

ブラックピット：　そうかもしれませんが……。AIに可愛げを求めても仕方ないような気もしますよ。

上司X：　そうかい？　日本語でもChatGPTで遊べるんだけど、確かに「10文字の回文を作って」とか「『え』から始まって『つ』で終わる4文字の単語は？」みたいなのはうまく答えられないな。

ブラックピット：　どれどれ……。あれ、ホントですね。回文も単語推測もめちゃくちゃな回答です。

上司X：　そうかい？　でも「猫をテーマにして『あいうえお作文』を作って」と指示すると、ちゃんと回答してくれる。これも単語の頭文字は把握しているからできることなんだろうな。

ブラックピット：　単語を数字にして処理しているからこそ起こる弊害ですね。そういえば、「『え』から始まって『つ』で終わる4文字の単語は？」の答えは「えんぴつ」ですね。「えんとつ」でもいいですけど。「えんかつ」「えんぜつ」……、あれ、たくさんありますね。

上司X：　おお、ChatGPTより優秀じゃないか！　こういう指摘があれば、きっと開発陣は改良を加えるんじゃないかな。恐らく、もう少ししたら教授が指摘したような弱点もきっと克服されるだろう。AIの進化が止まらないことに期待ばかりしていいものか……。まあ、不安もないでもないが楽しみにしたいものだな。

ブラックピット（本名非公開）

年齢：36歳（独身）
所属：某企業SE（入社6年目）

昔レーサーに憧れ、夢見ていたが断念した経歴を持つ（中学生の時にゲームセンターのレーシングゲームで全国1位を取り、なんとなく自分ならイケる気がしてしまった）。愛車は黒のスカイライン。憧れはGTR。車とF1観戦が趣味。笑いはもっぱらシュールなネタが好き。

上司X（本名なぜか非公開）

年齢：46歳
所属：某企業システム部長（かなりのITベテラン）

中学生のときに秋葉原のBit-INN（ビットイン）で見たTK-80に魅せられITの世界に入る。以来ITひと筋。もともと車が趣味だったが、ブラックピットの影響で、つい最近F1にはまる。愛車はGTR（でも中古らしい）。人懐っこく、面倒見が良い性格。