アイルランドのゴールウェイ大学でコンピュータサイエンスを研究するミッシェル・マッデン（Michael Madden）教授によれば、ChatGPTは、パズルゲーム「Wordle（ワードル）」が苦手なのだという。同氏はそのことに気付き、研究者とジャーナリストによるWebメディア「The Conversation」に記事を投稿した。

　Wordleは、Redditの元従業員でソフトウェアエンジニアのジョシュ・ワードル氏が開発したWebベースのパズルゲームで、5文字の英単語を推測するというもの。多くのプレイヤーが自身の成績を「Twitter」に投稿するようになり、そこからWordleの人気が一気に広がった。そして、2022年1月にThe New York Timesが数億円で買収し、同社のWebサイトで遊べるよう公開した。

　プレイヤーに与えられたチャンスは6回。コツは、どこにどの文字が使われているかというヒントを効率よく得ることだ。まず適当な5文字の単語を入力して、そこから正解に含まれる文字が判明すれば、その文字がヒントとなる。間違った文字は選択できなくなるので、それもまたヒントとなる。こうして6回のチャンスで5文字の単語を当てる。

　言語モデルをベースとしたChatGPTにはたやすいことにも思えるが、マッデン教授の記事によると、「○E○L○」と（○は不明な文字）いう状態から、最新の言語モデル「GPT-4」を使って正解となる単語を推測させた。正解は「MEALY」だったのだが、ChatGPTは「beryl」「feral」「heral」「merle」「revel」「pearl」と回答した。「L」の位置は4番目なのだが、ChatGPTの出した答えはどれも「L」が5番目にくるものばかりだった。「○○OS○」では推測に成功したが、「○R○F○」では不正解だった上に、辞書にない単語「traff」を提案してきた。

　マッデン教授はなぜChatGPTがWordleを苦手とするのかを考えた。ディープニューラルネットワークを中核とするChatGPTが、インプット情報を基に文字をマッピングして出力するには複雑な数学的な処理が必要となる。つまり、ChatGPTは言葉を数字に翻訳することで言語を扱っている。

　翻訳には「トークン」と呼ばれる単語と、文字列の膨大なリストをIDとして処理する「トークナイザー」と呼ばれるプログラムが使われている。例えば、「friend」という単語のトークンIDは6756であり、「friendship」は「friend（トークンID：6756）＋ship（トークンID：6729）」に分解されてChatGPTの内部で処理される。

　ChatGPTはユーザーの質問を全て数字に翻訳してから内部で処理しているだけであり、実際の文字を直接把握しているわけではない、というのがマッデン教授の考えだ。また、同氏によれば、GPT-4は約5000億語もの単語でトレーニングされているが、把握しているのは各単語の頭文字のみであり、その単語を直接推測するのは難しく、回文を作ることも苦手だという。

　マッデン教授は、今後ChatGPTが覚えている全ての単語においてトレーニングを拡張し、「どの文字が何文字目にあるか」をマッピングさせることで文字推測が可能になると提案する。また、Wordleのような文字の推測を正確にこなすためには、外部ツールとの連携が解決策になるとしている。

　ChatGPTの用途において文字の推測がどこまで重要なのかは分からないが、マッデン教授の提言通りに機能を拡張すれば、ChatGPTに死角はなくなるかもしれない。

上司X：　あのChatGPTに弱点が見つかった、という話だよ。

ブラックピット：　文字推測が苦手だと。なんともビミョーな弱点ですねえ。

上司X：　でも、弱点があるぐらいが可愛げあるってものでさ。

ブラックピット：　そうかもしれませんが……。AIに可愛げを求めても仕方ないような気もしますよ。

上司X：　そうかい？　日本語でもChatGPTで遊べるんだけど、確かに「10文字の回文を作って」とか「『え』から始まって『つ』で終わる4文字の単語は？」みたいなのはうまく答えられないな。

ブラックピット：　どれどれ……。あれ、ホントですね。回文も単語推測もめちゃくちゃな回答です。

上司X：　そうかい？　でも「猫をテーマにして『あいうえお作文』を作って」と指示すると、ちゃんと回答してくれる。これも単語の頭文字は把握しているからできることなんだろうな。

ブラックピット：　単語を数字にして処理しているからこそ起こる弊害ですね。そういえば、「『え』から始まって『つ』で終わる4文字の単語は？」の答えは「えんぴつ」ですね。「えんとつ」でもいいですけど。「えんかつ」「えんぜつ」……、あれ、たくさんありますね。

上司X：　おお、ChatGPTより優秀じゃないか！　こういう指摘があれば、きっと開発陣は改良を加えるんじゃないかな。恐らく、もう少ししたら教授が指摘したような弱点もきっと克服されるだろう。AIの進化が止まらないことに期待ばかりしていいものか……。まあ、不安もないでもないが楽しみにしたいものだな。