複数の場面に対応するためにタスクが複雑に分岐しているとしよう。「Aの場合はこうしなさい」「Bの場合はこう」「Cの場合は……」というように、タスクが細かく分かれている場合だ。

　こうした状況では「場合分け」をはっきりさせて、それぞれの場合にどの命令が必要なのかを最初に決めておかなければならない。

　場合分けを定義して、場合ごとにタスク処理に必要な命令を書き下す。場合分けを再帰的に適用して、タスクをさらに分解することもできる。この戦術を使うと、各クエリがタスクの次の段階を実行するために必要な単純な命令だけで済む。ChatGPTに与えるプロンプトが長いと実行コスト（計算コスト）が高くなるため、有償版を使っているときはコスト削減にもなる。

　次の例はカスタマーサービスアプリケーションを作ろうとしている。クエリをどのように分類しているだろうか。

　するとカスタマーサービスクエリを一次カテゴリーと二次カテゴリーに分類する次のようなjsonのコードが出力された。

{
  "queries": [
    {
      "query": "購読解除方法を教えてください。",
      "primary_category": "課金",
      "secondary_category": "購読解除またはアップグレード"
    },
    {
      "query": "新しい支払い方法を追加したいです。",
      "primary_category": "課金",
      "secondary_category": "支払い方法を追加する"
    },
（中略）
    {
      "query": "人間と話したいです。",
      "primary_category": "一般的な問い合わせ",
      "secondary_category": "人間と話す"
    }
  ]
}

　顧客からの問い合わせの分類に基づいて、次のステップを処理するために、より具体的な指示のセットをGPTモデルに与えよう。ここでは、顧客が「トラブルシューティング」の助けを求めているとする

を出力してITサポートに接続する。

- ユーザーがこのトピックに関係のない質問を始めたら、トラブルシューティングに関する現在のチャットを終了したいかどうかを確認し、次のスキームに従ってリクエストを分類する：

/ プライマリ／セカンダリ分類スキームをここに挿入する /

}

　紹介したモデルは、会話の状態が変化したときに特定の文字列を打ち出すように指示している。これは、ソフトウェア工学でいう「ステートマシン」を作りたかったからだ。ステートマシンはステート（状態）と状態間の遷移から成るモデルだ。現在の状態を保持し、イベントが発生すると、定義されたルールに基づいて状態が変化する。

　どの命令が入力されるのかは状態によって決まる。状態を追跡し、その状態においてどの命令が関連するのか、またオプションとしてその状態からどのような状態遷移が許されるのかを追跡しやすい。このように構造化されていないタスクだと、内容が分かりにくく、漏れを見つけにくくなる。

戦術2　非常に長い会話を必要とするダイアログアプリケーションを作る場合は、前のダイアログを要約するかフィルタリングする

　ChatGPTは参照できる過去のコンテキストの長さが決まっているため、対話を続けていくとコンテクストウィンドウ（GPT-3.5では1024トークン《単語、または単語をさらに分割した単位》、GPT-4は8192または3万2768）に過去の対話内容が入りきらなくなってしまう。こうなると、既にChatGPTに説明したり、指示したりした内容を忘れてしまう。

　解決策は幾つかある。まずは1つ前の会話を要約することだ。入力のサイズが所定のしきい値の長さに達すると、会話の一部を要約するクエリにトリガーがかかり、前の会話の要約がシステムメッセージの一部として含まれる。あるいは、会話全体を通して、バックグラウンドで非同期に以前の会話を要約することもできる。

　別の解決策は、現在のクエリに最も関連する会話の前の部分を動的に選択することだ。効率的な知識検索を実装するために埋め込みベースの検索を使用する。

戦術3　長い文書を断片的に要約し、再帰的に完全な要約を構築する

　GPTはコンテキストの長さが決まっているため、コンテキストの長さから生成される要約の長さを引いた長さよりも長い文章を1つのクエリで要約することはできない。例えば文章の長さと要約の長さを足した長さが1024トークン（GPT-3.5の場合）を超えると、要約できなくなる。

　本のような非常に長い文書を要約するには、文書の各セクションを要約する一連のクエリを使用する。セクションの要約を連結して要約し、要約の要約を生成しよう。このプロセスは、文書全体が要約されるまで再帰的に進めることができる。

　後のセクションの意味を理解するために、前のセクションの情報を使う必要がある場合、さらに有用なトリックは、その時点の内容を要約しながら、その本の任意の時点より前のテキストの実行中の要約を含めることである。本を要約するためのこの手順はGPT-3の変種を使ったOpenAIの以前の研究で実証されている。

筆者直伝、ChatGPTで役立つ「小技」

　第2回につづき、OpenAIのベストプラクティスから離れて仕事や学習に役立つ筆者の小技を幾つか紹介しよう。

　まずは英語に関連した使い方だ。翻訳にChatGPTを使ってみよう（以下では筆者の質問を太字で示した）。

　さほど複雑な英文ではない。訳文に問題はないだろう。ChatGPTの真価が発揮されるのは、次のような質問を続けた場合だ。

　ChatGPTは文章の意味を「理解してはいない」ものの、民主化の力という部分が何を表しているのかを説明できた。ChatGPTを翻訳ツールとして使うときはこのような使い方もできる。ただし常に正しい結果が返ってくるとは限らないため、ユーザーがきちんと確認しなければならない。

　次は辞書代わりにChatGPTを使ってみよう。英単語の意味が分からないときは英和辞典を引くべきだが、代わりにChatGPTを使うこともできる。特に役立つのは似たような単語が2つあって、違いが分かりにくい場合だ。

　次はもっと軽い例を挙げよう。意味は分かるが、発音しようとすると難しい「単語」の例だ。

　日本語なら、「はちてんろくたいいち」と読むことは分かるが、英語の場合は辞書を引くこともできず困ってしまうだろう。なお、第2回では「km2」を試してみた。

単語博士は単語の内部構造に弱い

　前回「island」クイズに挑戦した単語博士（ChatGPT）に別のクイズを与えてみよう。

　ChatGPTは漢字の形をうまく扱えるだろうか。

　ChatGPTが誤った回答を返したときは、次の例のように間違っている点を指摘すると改善できる場合がある。

　漢和辞典は偏や画数、読みなどが分からないと使えないが、ChatGPTであれば部品を指定すれば何とかなりそうだ。

ある「もの」を表す単語が分からないときに役立つ

　次は言葉で説明できるが、そのものずばりを言い表す単語を忘れてしまった場合だ。ChatGPTはこういった場面で役に立つだろうか。

　専門用語ではどうだろうか。

　ChatGPTが答えた単語に疑問があるときは、その単語をWeb検索すれば正解なのかどうかが分かる。Wikipediaを検索したところ、日本語版では「アナレンマ」、英語版では「Analemma」に正解が見つかった。

米国ニュージャージー州でアノレマを撮影した写真（出典：Wikimedia Commons、CC BY-SA 3.0）