2年前のAI導入断念事例 今なら0円と半日で解決できるかもしれない【検証】

とある自治体が2023年に実施したAI活用の実証実験では、精度の問題で本格導入が見送られた。今ならMCPの技術を使って簡単に実装できる可能性がある。検証してみた。

[谷井将人，キーマンズネット]

　2023年、香川県のとある自治体で、面白いAI活用事例がありました。その自治体は市民からのゴミ分別に関する問い合わせをAIチャットbotで対応しようと考えて「ChatGPT」を使った実証実験を実施しました。ただ、この取り組みはAIの回答精度が目標に達しなかったため、本格導入は取りやめに。目標の99％に対し、実験では94.1％と惜しくも未達という結果でした。

　AI活用に当たっては「適切なモデルを選んでいるか」「目標達成できるアーキテクチャになっているか」「KPIやROI測定の観点は正しいか」など、成功に向けたさまざまなチェックポイントがあります。

　しかし、AIの進化は非常に早く、2〜3年前というのはもはや大昔です。上記の取り組みがあったのはChatGPTが登場して1年もたっていない頃です。今なら100％の達成も可能なのではないでしょうか。

　今回は実際にゴミ分別案内botを作って、ユーザーが入力した品目を正しい分別カテゴリーに振り分けられるか実践してみましょう。

精度94.1％はダメなのか　当時を振り返る

　香川県三豊市は2023年6月〜7月にかけて、ChatGPTを使ったゴミ分別案内サービスの実証実験を実施しました。情報収集を目的としたものであり、試行錯誤したものの精度は62.5％にとどまりました。このときはいったん実証実験を停止して、改善策を探ったとのことです。

　その後、2023年10月〜11月にかけて今度は本格導入を検討するための実証実験をしました。このときには正答率94.1％までになっていたものの、目標には達しなかったため、本格導入には至りませんでした。

　今になってみれば、さまざまな考え方ができると思います。例えば「精度99％という目標設定は正しかったのか」という問題です。評価基準を「市民からの評判」にしたら結果は違ったかもしれません。

　この取り組みでは、AIが対応することで50カ国以上の言語の問い合わせに24時間応答できる可能性が示されました。どんな言葉を使う人でも好きなときに質問できるようになれば、サービスの満足度はそれだけである程度上がるかもしれません。評価基準を市の職員の満足度にして、AIの活用で業務が楽になったかどうかを聞くだけでも、効果が見えてきた可能性があります。

　アーキテクチャも見直せるでしょう。正しく応答する必要があるなら、ファインチューニングやシステムプロンプトの工夫などでAIの挙動をカスタマイズして、AIが学習した内容を思い出して回答を生成するようにするよりも、AIが辞書を引いて文字通り答えるようにした方が精度が高くなりそうです。今ならRAG（検索拡張生成）やMCPを使う方法が考えられます。

　MCPなら1日でそれなりのものが作れます。というわけで実際にやってみました。

ゴミ分別案内MCPサーバ作ってみた

　人間は「今何時？」と聞かれたらどうするでしょうか。時計を見て現在時刻を答えますよね。生身の人間に標準的に備わっている能力だけでは正確な時間を把握できないはずです。AIも同じで、何もないところから現在時刻は出力できません。どうにかして時計を見られるようにする必要があります。

　このときに使えるのがMCPです。MCPはAIと道具をつなぐ規格で、PCにUSB機器を接続できるように、MCP対応の道具ならAIに接続できるようにするものです。MCP対応の道具は「MCPサーバ」と呼びます。現在時刻を取得するMCPサーバをAIに接続すれば、チャット画面で「今何時？」と聞いても正しく時刻を出力できるようになります。

　今回は「品目名を入力すれば分別カテゴリーを出力するMCPサーバ」を作ります。利用イメージとしては、ユーザーがAIとのチャットで「○○を捨てたい」と尋ねれば、AIが「燃えるゴミに出してください」のように応答するといった具合です。

　仕組みは、ユーザーとAIのチャットで捨てたい品目の名前が確定したら、品目と分別カテゴリーを記録したデータベースを検索して、検索結果を基に回答を作るというシンプルなものです。何か聞かれるたびに辞書を引いて答えるようなイメージですね。

　今回はChatGPTに上記の要件を伝えてMCPサーバを実装してもらいました。

プロンプト：MCPサーバを作ってほしい。ゴミの品目を入力すると、分別カテゴリーを返すMCP。品目と分別カテゴリーはJSONやYAMLなどの形式のDBを参照する。AIがユーザーとやりとりして最終的に判定したい品目を特定し、MCPサーバに問い合わせて解答を得て、ユーザーに返す使い方を想定している

　これで、MCPサーバそのもののプログラムと、データベースの仕様が決まりました。あとはデータベースの中身を用意して、AIに接続するだけです。

　品目のリストは三豊市の公式Webサイトに掲載されているものに準拠して作りました。一通り完成したので、AIチャットサービス「Claude」のデスクトップ版アプリにMCPサーバを接続します。一連の作業は3時間程度で完了しました。早速使ってみましょう。

3時間で作ったゴミ分別案内botはちゃんと動くのか

　まずは、ユーザーからの質問を受け取ったときの動き方をClaudeに指示します。

システムプロンプト：ゴミ分別のタスクを始めてください。まずは質問を繰り返して品目の特定作業をして、次にデータベースを検索して回答を生成してください。確実なことが言えない場合は「電話にてお問い合わせください」と応答してください。

　では、身近な「レジ袋」でテストしてみましょう。

「Claude」デスクトップ版アプリのスクリーンショット（以下同）　データベースを「レジ袋」で検索している

　正しくプラ製容器と回答が返ってきました。今度は難易度を上げて、材質や部品によって分類が変わる「温度計」で試します。

　こちらはデータベースを温度計で検索したところ「温度計（水銀）」「温度計（水銀以外）」の2件がヒットしたため、品目を確定するため絞り込みの質問をして最終的に回答を生成しています。ではパーツごとに分類が異なる「カセットテープ」でも試してみましょう。

　ケースの部分とテープの部分に分けて判定してくれています。名前が分からないものならどうでしょう。

プロンプト：電源タップを買ったんだけど、その包装を捨てたい

　いわゆる「ブリスターパック」というものです。製品にフィットする形のプラスチックカバーと台紙で構成される包装で、三豊市の分類品目としては存在していますが、普通の人は「ブリスターパックってどう捨てればいい？」とは聞きません。

ブリスターパックのイメージ（Nano Banana Proで生成）

　Claudeは「どれを捨てたいですか？　外箱、プラスチックカバー、クッション材、フィルム、その他」「プラスチックの型と紙は分離できますか？」「プラマークはついていますか？」などの質問を繰り返し、最終的に正しくブリスターパックにたどり着きました。

　では、品目名ではなくブランド名ならどうでしょう。インターネットを検索しても出てこないよう、架空のボールペン「KaKooNo」（カクーノ）を捨てるという想定で試してみます。

　これはある意味簡単でしたね。全く知らないものならそれが何かを特定する作業が確実に入るので、そこで品目を確定できます。最後に、サイズによって分類が変わるものでも確認してみましょう。

　一撃で正解できました。この剪定枝というのは2023年の三豊市の記者会見で例の一つとして示されていたものです（当時も正しく判定されていました）。

0円で作れるMCPサーバ

　いかがでしょう。今回尋ねてみた品目はいずれもそこまで難しいものではないですが、精度は悪くなさそうです。この作業が3時間で、人件費やサービス利用コストを除けば0円でできるなら、検討の余地はあるでしょう。少なくとも、計算資源を投入してファインチューニングし、ゴミ分別案内AIを頑張って作るより低コストです。

　精度を上げるなら、データベースに登録された品目を増やしたり、あいまい検索用の検索ワードを追加したりといった工夫もできます。データベースがあるならAIを使うまでもなく、そのデータベースを検索できるようにすればいい可能性もあります。しかし、それではブリスターパックの分類ができません。そういったイレギュラーを吸収するのがAIの役割でもあります。

　もっと手軽な手段としてはGoogleの「NotebookLM」もあります。NotebookLMは資料を基に回答を生成するAIサービスです。資料として品目一覧を登録しておけば、似たようなシステムを一瞬で作れます。そのものをそのまま行政サービスとして開放するわけにはいかないですが、例えば市民からの問い合わせに対応するオペレーター用と割り切って使うことで、情報検索の時間を短縮できるかもしれません。

　データベースを検索して回答を生成する仕組みは応用しやすいので、ぜひ効率化できそうな業務を探して、MCPサーバで何かできないか試してみてください。