LLMが抱えている問題とは「ストロベリー問題」だ。2024年10月12日（現地時間）、Tech系サイト「VentureBeat」にPangiamの機械学習エンジニアであるチンマイ・ジョグ氏が執筆した記事が掲載された。

　ジョグ氏は「LLMによって人の質問に答えたり、言語を翻訳したり、コンテンツを要約したりするなど、受け取ったプロンプトに基づいた応答が可能になる。創造的な文章を生成するようなタスクに向いている」と語る。そして「LLMはテキストのパターンを認識するように設計されているため、幅広い言語関連のタスクを驚くほど正確に処理できる」と評価している。

　一方で「高い能力を持っているにもかかわらず、単語『strawberry』の『r』の数を数えることができない」と指摘する。これこそがLLMにおける「ストロベリー問題」だ。ジョグ氏は、ChatGPTに「what is the number of r s in strawberry」（strawberryという単語の中に「r」は幾つあるか）と入力した。ChatGPTは「The word “strawberry” contains 2 r's.」（「ストロベリー」には2つの「r」が含まれている）と回答した。つまり、「strawberry」に含まれる「r」の数を正確に数えられていないということだ。

　このストロベリー問題の原因は、深層学習モデル「Transformer」にあるとジョグ氏は考察する。多くのLLMはこのTransformerで構築されていて、Transformerはテキストをトークン化、つまり数値に変換して処理しているからだという。トークン化するときに、例えば「monkey」を1つずつのアルファベットに分解してトークン化することもあれば、「mon」と「key」と単語の一部に分けてトークン化することもあるという。

　トークン化しているLLMは文章の前後の流れで内容を理解することは得意だが、単語そのものをアルファベットに分解し、その数を数えることは得意ではない、というのがジョグ氏の見解だ。Transformerアーキテクチャではストロベリー問題が度々発生し、現状で回避するのは難しいとしている。

　そしてジョグ氏は、ストロベリー問題を回避する方法を語った。同氏は「LLMは構造化されたテキストを理解するのは得意」だとし、構造化されたテキストとして「プログラミング言語のコード」を入力することで正しく文字数をカウントすることが可能になると説明する。

　例として、ジョグ氏は「answer how many r s in strawberry using python. show the code, and the explanation」（Pythonを使って「strawberry」という単語の中の「r」の数を答えてください）とChatGPTに入力した。するとChatGPTはPythonのコードを示した上でそれを実行し、「r」の文字数を正しく3と導き出した。

　ジョグ氏は「単純な文字カウント実験によってLLMの根本的な限界が明らかになった。生成AIモデルはまだ人間のように思考することはできない。LLMはパターンマッチング予測アルゴリズムであり、理解や推論が可能な知能を持っているわけではないことが示された」としている。一方で「どのようなプロンプトがうまく機能するかを事前に知っておくと、ある程度は問題を軽減できるだろう」とも記している。

　生成AIやLLMと正しく付き合いながら生活の中で生成AIを有効に使いたいのならば、その「弱点」を知った上で正しい答えを導けるような使い方を心掛ける必要がありそうだ。

上司X：　生成AI、LLMの「ストロベリー問題」がピックアップされて話題になっている、という話だよ。

ブラックピット：　ストロベリー問題ですか。なるほど。文字のカウントみたいなのは苦手なんですねえ。奥が深い。

上司X：　自然言語を理解する性能がありながら、単純な処理はそれほど得意ではないんだな。

ブラックピット：　そういう特性を理解していかなければならないということですね。

上司X：　生成AIをうまく使うためには、プロンプトの作り方が重要ってことだ。

ブラックピット：　そうだ、最近ではプロンプトエンジニアなんて職種も誕生しているらしいじゃないですか。

上司X：　ああ、プロンプト作成に関するスキルを備えたエンジニアだな。AIを使いこなしていくためにも重要な職種になるかもしれんぞ。

ブラックピット：　なるほどー。僕もプロンプトの作り方をバッチリマスターして、AIとたっぷりコミュニケーションして良好な関係を築いてみようと思います！

上司X：　うんうん。確かにキミの場合は人間とコミュニケーションするより上手にAIとコミュニケーションが図れるかもしれないな。最良のプロンプトを極めてみるといいよ。まあ、そこまで気合いをいれなくても、これからはプロンプトに気を遣いながらLLMを使うよう心掛けていけばいいと思うけどね。