もっとも点数が低かったのはGeminiでした。かなり点数が低いため、少しプロンプトを変えながら4回試しましたが、21点、21点、22点、26点とほぼ同じ結果でした。

　簡単な解説も生成させた結果、多くの問題に「○○という法令により○○と規定されているため、選択肢○が正しい」と説明しています。しかしその内容が間違っています。

　よく見てみると、回答と解説で選んだ選択肢が食い違っていたり、そもそも参照している問題がずれていたりと動作が不安定な印象でした。これはデータの形式の問題もあるかもしれません。デジタル庁が公開しているデータはCSV形式とJSON形式がありますが、特にCSVは構造を読み取りにくいのか生成が安定しません。

第3位　ChatGPT（GPT-5 Auto）　37点

　次に低かったのがChatGPTです。こちらは素直に解答を生成しないことが多く、もっと点数が低くなったパターンもありました。37点を出した回では、ChatGPTのモデルが解答を直接生成していましたが、もっと低得点だったときには、特別な指示をしていないにもかかわらず、問題文と選択肢を分解して、含まれる単語の類似度を計算して選択肢を選んでいました。

　今回は正解が分かっているため、ユーザーが正解率を高めるようアプローチできますが、ChatGPTを全面的に信用している状態で工夫なく使っていると、正解率37％の品質の解答を信じてしまう可能性があります。これはChatGPTが悪いというよりは、生成AIとの付き合い方が間違っている可能性や、プロンプトが適切でない可能性を検討した方がいいでしょう。

　今回はテストしていませんが、こういったタスクならおそらくRAG（検索拡張生成）技術を使って、法令データベースを生成AIに接続して調整を繰り返すと品質を確保できるかもしれません。

第2位　Copilot（Smart）　62点

　第2位はCopilotでした。ベースのモデルはGPT-5なので、モデルの性能はChatGPTと大きく変わらないはずですが、一気に点数が上がっています。Copilotはファイルの読み込みやテキストデータのコピーアンドペーストの挙動に癖がありますが、品質はそこそこです。

　ここまでの2つと比べるとダブルスコア前後と高得点ですが、正答率62％はかなり不安な数字です。10回質問すれば4回は間違っている可能性があるわけですから、都度チェックする必要があり、業務効率を改善できるかは怪しいです。使い方としては「社内でこういう問い合わせがあった。私はこう考えるが、何か見落としている重要な要素や可能性はないだろうか」と聞いて、新たな視点を得るというオープンな質問をするのが適切かと思います。

第1位　Claude（Sonnet 4.5）　92点

　第1位はClaudeでした。点数も圧倒的で、品質面ではかなり信頼できる内容です。ここまでのツールと点数が大きく違うため、何か間違ったかと思いました。

　点差がどうしてここまであるのか、正確な分析は難しいのですが、推論過程を見てみると、Claudeはファイルの読み込みが上手な印象があります。GeminiはCSVファイルを正確に読み取る段階で困難がありましたが、Claudeはファイルを読み込んだ後、問題集として見やすい形式に成形してから解答を生成しているような形跡が見られました。

　今回読み込ませたのはCSV形式のファイルで、どうしても難しい場合にJSON形式のファイルを使いました。もしかすると、YAML形式であれば結果も違ったかもしれません。

　今回検証したツールは業界のトップを一緒に走っており、ベンチマークの結果も競り合う状態ですし、本来これだけの差が出るのは不自然です。ただし、日本の法令や法務に関する内容はこれらの企業が使うベンチマークにおいて大部分を占めているわけではなく、学習データの量に差があっても結果に反映されない可能性はありえます。

　製品選定に当たっては、今回の結果を直接参考にするというより、データ形式の見直しやプロンプトの試行錯誤、生成AIの適用先の検討など、さまざまな視点から評価することが重要です。場合によっては出力の正確性よりも、ユーザーの満足度を評価軸にした方が満足度の高い生成AI活用が実現できるかもしれません。