プロンプトを変えるごとに、ChatGPTのパフォーマンスが高まることもあれば、悪化することもある。プロンプトのパフォーマンスを評価する手順が必要だ。

　プロンプトの評価手順を作る際に考慮しなければならないのは次の3点だ。

• （1）実際の使用状況を反映した（少なくとも多様性がある）ものにする
• （2）統計的に意味があるような十分な回数を踏まえてテストする
• （3）自動化や繰り返しが容易なテストを考える

　ChatGPTの出力を評価する際、ChatGPT自身に任せることもできれば、ユーザーが目視で実行することも、ChatGPTとユーザーが分担することも可能だ。客観的基準（例えば、ただ一つの正解がある質問）だけでなく、主観的基準やファジー基準（モデルの出力が他のモデルのクエリによって評価される）がある場合であっても、ChatGPTに評価を任せることができる。自動評価を作成するには、オープンソースのソフトウェアフレームワーク「OpenAI Evals」が役立つ。

　ある一つの回答だけでなく、複数の回答がどれも優れた品質だと評価される状況であれば、モデルベースの評価が役立つ。ChatGPTの出力が長文になるような場合だ。

　モデルベースの評価で実際に評価できる内容と、ユーザーの評価内容の境界はあいまいだ。モデルがより高性能になるにつれて、次第にユーザーの評価に近づいていくからだ。まずモデルベースの評価を試してみて、ユーザーのユースケースにどの程度有効なのかを調べるようOpenAIは勧めている。

戦術1　「ゴールドスタンダード」の回答を参照して評価する

　ゴールドスタンダードの回答とは、特定の評価基準や標準に合致する非常に高品質で信頼性のあるものを指す。特定のタスクやテストの際に、最も正確で信頼性のある回答の基準として使える内容だ。ゴールドスタンダードの回答は、評価者によって作り出され、そのタスクや評価において「正解」とみなされる。

　ある質問に対する正しい回答を出力するには、特定の既知の事実を複数参照する必要があるとしよう。その場合は必要な事実のうち、幾つが回答に含まれているのかをChatGPTに数えさせることが可能だ。

　次のようなプロンプトでゴールドスタンダードの回答を与える。ここには「（宇宙飛行士の）ニール・アームストロングが月面を歩いた最初の人物だった」こと「歩いたのは1969年7月21日」だという2つの事実が含まれている。以下のプロンプトはこの後のテストでシステムメッセージとして使う。

　次のプロンプトは事実のうち、1つだけしか含んでいない。

　次のプロンプトはどちらの事実も含んでいない。

　ChatGPTに与えた結果はどうだっただろうか。

ゴールドスタンダードの回答とどこが違っているのかを調べる

　このようなモデルベースの評価にはさまざまなバリエーションが考えられる。次のプロンプトのように、提出された回答とゴールドスタンダードの回答のどこが重なっているのかを調査したり、どの部分と矛盾しているかを調べたりできる。以下のプロンプトはこの後のテストでシステムメッセージとして使う。

}

　次の例はゴールドスタンダードの回答と矛盾しないが、標準以下の回答を試した場合だ。

　専門家の回答と異なる「事実」、つまりバズ・オルドリンが1人目だという内容を含む回答を試した例が次だ。

　次の回答には必要以上に詳細な事実が含まれている。

　得られた回答と正しいと分かっている回答を比較することで、プロンプトがきちんと動作しているのかを一貫して調査できる。つまり、プロンプトを変えることでChatGPTから引き出すことができる回答がどのように変化するのか、より素早く改善できるようになる。プロンプトに困ったときはぜひ試してほしい。