使えない「ChatGPT」 ウソをつくのはやめてもらえますか（第2回）

「ChatGPT」などの生成AIが人気を集めている。「使えない」「回答が信用できない」という声がある一方で、「生産性が上がった」「重要な仕事に専念できるようになった」という声もある。なぜ評価が分かれるのだろうか。

[畑陽一郎，キーマンズネット]

　「ChatGPT」などの生成AI（人工知能）は人と同じ方法で考えるAIではない。あいまいな指示を与えたとき、ユーザーの気持ちをくみ取って、まさに書いてほしかった文章を返してくれることはない。これを忘れると生成AIの力を十分に引き出すことはできない。

　第1回に続き、今回はChatGPTの開発元であるOpenAIが公開した6つの戦略とそれぞれの戦略を実現するためのベストプラクティスから2つ目の戦略＊を紹介する（連載記事の一覧はこちら）。

＊OpenAIがベストプラクティスとして紹介した具体例の幾つかはGPT-4でのみ動作する。

戦略2　参考文献を提示する

　ChatGPTを使っていて、最も困ることは何だろうか。事実とは全く異なる虚偽の回答、捏造（ねつぞう）を返してくることだ。

東京都杉並区を流れる川の一覧を表示してください。

東京都杉並区を流れる主な川の一覧を以下に示します:

荻川（おぎかわ）

野方川（のがたがわ）

高井戸川（たかいどがわ）

河辺川（かわべがわ）

井草川（いぐさがわ）

桜川（さくらがわ）

天沼川（あまぬまがわ）

久我山川（くがやまがわ）

なお、杉並区にはこれら以外にも小さな河川や水路が存在する場合もあります。詳細な情報や地図をご参照になることをおすすめします。

　杉並区を流れる川は「妙正寺川」とその支流の「井草川」の他、「善福寺川」「神田川」「玉川上水」だけだ。正解は井草川だけで、それ以外は全て誤っていた。妙正寺川などはそもそも回答に入っていない。

　土地勘がある地域の話であれば目視でも誤りが分かる。困るのは不慣れな分野について質問した場合だ。どこが誤っているのかに気が付かないことがある。危なそうだと感じた場合は、ChatGPTに対して参考になるテキストを渡すと改善できる。

戦術1　参考文献を使って回答するように指示する

　クエリ（ユーザーの問いかけ）に関連する信頼できる情報をモデルに提供することができれば、ChatGPTに対してその情報を使って答えを作るように指示できる。

　ChatGPTは最後にユーザーが書き込んだ内容以外にも、直近の対話の内容を覚えている。これをコンテキストウィンドウと呼ぶ。コンテキストウィンドウを使うことでChatGPTはこれまでの対話の流れやユーザーの意図を理解して適切な応答を生成できる。だが、コンテキストウィンドウのサイズは限られている。GPT-3.5では1024トークン（単語、または単語をさらに分割した単位）、GPT-4は8192または3万2768だ。

　そのため戦術1を適用するためには、質問されたことに関連する情報を大量のテキストとして直接入力するのではなく、ChatGPTが動的に検索できるようにするとよい。1回の質問でChatGPTの完全な回答を得るのではなく、複数回にわたって情報を追加で与え、答えを絞り込んでいく。

あなたに出典と質問を与える。答えが出典の中に見つからない場合は、"答えが見つかりませんでした "と返してください。

出典：https://ja.wikipedia.org/wiki/%E6%9D%89%E4%B8%A6%E5%8C%BA

質問：杉並区の河川などの名前を表示してください

提供された出典のウィキペディアのページを確認しました。以下は、杉並区に関連する一部の河川名の例です：

荻窪川（おぎくぼがわ）

高井戸川（たかいどがわ）

井草堀川（いぐさぼりがわ）

阿佐ヶ谷川（あさがやがわ）

明大前川（めいだいまえがわ）

これらは杉並区に存在するいくつかの河川の名前の例です。他にもさらに河川が存在する可能性があります。

以上の情報は出典に記載されている一部の河川名です。

もし他の質問がありましたら、お答えできるかもしれませんので、お知らせください。

　「ウィキペディア日本語版」の「杉並区」を出典として与えたものの、残念ながら回答の質を全く改善できなかった。

出典には「荻窪川」「高井戸川」「井草堀川」「阿佐ヶ谷川」「明大前川」について何が記述されていましたか

申し訳ありませんが、提供された出典のウィキペディアのページにおいて具体的な「荻窪川」「高井戸川」「井草堀川」「阿佐ヶ谷川」「明大前川」についての詳細な記述は見つかりませんでした。出典にはこれらの川の詳細に関する情報は含まれていませんでした。

ご質問の回答を探し出せず、申し訳ありません。他の情報源を参照するか、地元の自治体や関連機関のウェブサイトなどで各川の詳細情報を探してみてください。

　質問を重ねることで出典に「荻窪川」から「明大前川」までの情報が含まれていないことは分かった。信頼できない回答を除外できるということだ。

出典には「神田川」「妙成寺川」「善福寺川」について何が記述されていましたか

提供された出典のウィキペディアのページにおいて、「神田川」「妙成寺川」「善福寺川」に関する記述が見つかりました。以下にそれぞれの川に関する抜粋を引用します。

神田川：

「神田川（かんだがわ）は、東京都心部を流れる河川である。東京都中央区・千代田区・新宿区・文京区・台東区を流れ、隅田川に注いでいる。」

妙成寺川：

「妙成寺川（みょうじょうじがわ）は、東京都杉並区を流れる小さな河川である。杉並区高円寺南四丁目から高円寺北三丁目を経て、和田堀公園に至る。この公園には橋も架かっている。」

善福寺川：

「善福寺川（ぜんぷくじがわ）は、東京都杉並区を流れる一級河川である。起点は杉並区和田にある和田堀公園になり、全長1.8kmほどで南西に流れ、起点から約1kmほどの地点で明大前川に合流する。」

以上が出典に記載されている「神田川」「妙成寺川」「善福寺川」に関する情報です。詳細な情報や他の川に関する記述がある場合は、出典のウィキペディアのページを参照してください。

　ある程度、正解が分かっているのであれば、ChatGPTに出典を参照させて、本当に正解なのかどうかを確認できる（ただしこの例では妙正寺川と善福寺川の記述がまだ一部誤っている）。

戦術2　参考文献を引用して回答するように指示する

　戦術1をさらにブラッシュアップすることも可能だ。情報源のどこから回答を引いてきたのかを質問できる。

あなたに出典と質問を与える。あなたの仕事は出典だけを使って質問に答え、質問に答えるために使われた文書の一節を引用することだ。もし質問に答えるのに必要な情報がこの文章に含まれていない場合は、単にこう書くこと： 「情報不足だ」。設問に対する解答が記載されていた場合は、必ず引用を付記すること。関連する文章を引用する場合は、以下の書式を使用する（{"引用": ...}）。

出典：https://ja.wikipedia.org/wiki/%E7%AC%AC%E4%BA%8C%E6%AC%A1%E4%B8%96%E7%95%8C%E5%A4%A7%E6%88%A6

質問は「第二次世界大戦がもたらした技術革新は何か」です。

情報提供ありがとうございます。与えられた出典を参照し、質問に答えるための引用を見つけました。以下に引用を示します。

出典によれば、第二次世界大戦は様々な技術革新をもたらしました。特に軍事技術の進歩が著しかったです。航空機技術の発展や原子力の利用、暗号解読技術の進歩などが挙げられます。

具体的な引用を以下に示します。

{"引用": "第二次世界大戦は、航空機、ロケット、原子力、暗号解読技術など、多くの技術革新をもたらしました。"}

したがって、第二次世界大戦は航空機技術、ロケット技術、原子力技術、暗号解読技術などの技術革新をもたらしたと言えます。

ChatGPTで役立つ「小技」

　ここからはOpenAIの戦略から離れて、仕事や学習に役立つ小技を幾つか紹介しよう。まずは英語の学習だ。ChatGPTは単語A（または単語Aの一部）の後に単語B、単語C、単語D……が出現する詳細な確率を持っている。ということは単語を与えて、その単語を含む文章を作り出すことが最も得意だということになる。

単語学習用の例文を出力

　英単語の学習をしているとしよう。どうしても覚えにくい単語があるはずだ。そのようなときに役立つ手だては幾つかある。辞書に掲載されている例文を暗唱するのもよい。だが辞書にある例文は数が少ない。覚えにくい単語が2つあるとして、両方を含む例文は辞書には載っていない。そこで次のようにする。

2つの英単語「conciliation」「shatter」を文中でどちらも使っている短い英語の文を日本語訳と共に4個示してください。英文、改行を入れて、日本語訳の順番でお願いします

The conciliation talks aimed to mend the broken relationship and prevent it from shattering completely.

（和解の話し合いは、壊れた関係を修復し、完全に打ち砕かれるのを防ぐことを目指していました。）

The shattered trust between the two partners required a conciliation process to rebuild it.

（二人のパートナーの間に打ち砕かれた信頼は、それを再構築するための和解のプロセスを必要としました。）

The conciliatory gestures were not enough to prevent their relationship from shattering irreparably.

（和解的なジェスチャーは、彼らの関係が修復不能に壊れるのを防ぐには十分ではありませんでした。）

The shattering of their partnership necessitated a conciliation meeting to divide their assets fairly.

（彼らのパートナーシップの打ち砕かれは、公正に資産を分割するための和解の会議を必要としました。）

　さらに例文を出力すれば「conciliation」「shatter」と一緒に使う単語は何なのか、勘を養うことができる。ある単語がどのような文脈で使われるのか、ChatGPTはよく「理解」しているため、自然な例文をいくらでも出力できる。まさしく単語博士だ。ただし、同時に4つ以上の単語を与えると例文の生成が難しくなるようだ。

読めない「単語」を読んでもらう

　単語博士をうまく使うと、辞書では引きにくい情報を手に入れることができる。読み方が分からない「単語」を読んでもらおう。

km2を英語で何と発音しますか

km2は「square kilometers」と発音します。

単語クイズは不得意な様子

　単語博士は単語同士のつながりについては詳しいものの、つづりを尋ねるクイズには強くないようだ。island（島）が答えになる有名な質問をChatGPTに与えてみよう。

次に挙げる条件を満たした英単語を6つ答えてください。条件1　単語が「is」から始まる。条件2　単語の途中に「la」を含む。条件3　単語の末尾が「nd」で終わる。

条件に合致する英単語を以下に示します:

Island (島)

Isolate (孤立させる)

Islam (イスラム教)

Isolate (孤立させる)

Island (島)

Island (島)

以上が条件に合致する英単語の例です。

　正解は含まれているが、問題の条件を満たしていない上に、同じ回答が重複している。どうやら条件3を時々無視してしまうようだ。そうであれば、条件3を満たしているかどうか、ChatGPT自身に確認してもらおう。

次の挙げる条件を3つとも全て満たした英単語を6つ答えてください。条件1　単語が「is」から始まる。条件2　単語の途中に「la」を含む。条件3　単語の末尾が「nd」で終わる。単語のリストを作った後、条件3を満たしているどうか、必ず確認してください。

以下は、条件1から条件3を全て満たす英単語の例です。各単語の後ろには条件3が満たされているかどうかを示す「○」または「×」を表示しています。

Island (○)

Israeland (×)

Islalaand (×)

Isoland (○)

Islando (×)

Islaand (×)

上記のリストを作成し、条件3を確認しました。条件1から条件3を全て満たす英単語は「Island」と「Isoland」の2つです。

　条件3の判定が不正確だが、人間が考えていたのとは違う回答を2つ追加で出力できた。「Israeland」と「Isoland」だ。どちらも固有名詞で前者は企業の名称（の一部）、後者は任天堂のゲームの名称だ。単語博士の知識は偏っているものの、ユーザーとコラボすることでユーザーが思い描いていた回答とは違う出力を得ることができた。つまりChatGPTに相談した甲斐があったということだ。