「GPT-5.6 vs. Claude Fable 5」勝者はClaude、でも企業が選びづらいワケ：891st Lap

物理AIベンチマークで最高評価を獲得した「Claude Fable 5」。だが、企業が導入を判断する際には、性能だけでは見えない悩ましい問題が浮かび上がった。

[キーマンズネット]

　AIの評価は、もはやランキングだけでは語れなくなっている。求められる能力は用途によって異なり、推論や数学、プログラミング、実務処理など、それぞれに適した評価方法が必要だ。また、AIの進化があまりにも速いため、既存のベンチマークが学習対象となり、最新モデルの本当の実力を測りにくくなるケースも増えている。

　そんな中、物理モデリングやシミュレーション能力を評価する「物理AI」向けのベンチマーク結果が公開された。実験で最高スコアを獲得したのは、Anthropicの「Claude Fable 5」だった。ただ、ある部分において、企業にとっては痛い点もあるという。Claude Fable 5はなぜ性能トップでも、企業にとって選びにくいAIなのか。

　まず、本稿で物理AIとして評価されているのは、ロボットなどが現実世界を認識して行動する、いわゆる「フィジカルAI」と呼ばれる技術そのものではない。主な評価対象は、AIが物理法則を導き、物理モデルをシミュレーションする能力であることを承知いただきたい。

　物理AIでは、AIがコードを生成し、エラーなく実行できたとしても、それだけで正しいとは言えない。現実にはあり得ない挙動を示すモデルを作ってしまうことがあるためだ。さらに、AI自身がテストまで作成すると、誤った前提で作ったモデルを、同じ誤った前提で作られたテストによって「正しい」と判断してしまう恐れもある。

　こうした弱点を検証するため、科学技術計算やモデリング関連サービスを手掛けるJuliaHubが実験を実施し、その結果を公開した。同社は複数の最新AIに物理シミュレーションの課題を解かせ、精度やコスト、作業の進め方を比較した。

　JuliaHubは2026年7月20日、ブログで「GPT-5.6 vs Claude Fable 5 for Physical AI, which performs best？」（GPT-5.6とClaude Fable 5、物理AIの分野ではどちらの性能が優れているか？）を公開した。実験では、物理モデリング環境「Dyad」に組み込まれたAIエージェントを使い、Anthropicの「Claude Fable 5」と、OpenAIの「GPT-5.6 Sol」「GPT-5.6 Terra」「GPT-5.6 Luna」を比較した。

　課題は難易度の異なる5問だ。AIに問題文や資料を読み込ませ、物理式の導出からモデル作成、コンパイル、シミュレーションまでを検証した。推論強度やコンテキストウィンドウ、トークン予算などの条件は統一し、変更したのはAIモデルだけだ。最初の4問は各モデルが3回ずつ、最難関の5問目は各1回挑戦し、合計52回の結果を評価した。

　この実験の特徴は、コードの完成度や正常な動作だけを評価しなかった点にある。完成したモデルを実際にシミュレーションし、その結果をAIには公開していない正解データと比較した。つまり、コードがエラーなく動いても、物理モデルとして誤っていれば高い評価は得られない仕組みとなっている。

　難易度を考慮した総合スコアでは、Claude Fable 5が0.889で首位となった。GPT-5.6 Solは0.814、GPT-5.6 Terraは0.786、GPT-5.6 Lunaは0.727だった。一方、1回当たりの平均費用はClaude Fable 5が9.60ドルと最も高く、GPT-5.6 Solは1.74ドル、GPT-5.6 Terraは1.25ドル、GPT-5.6 Lunaは3.26ドルだった。精度ではClaude Fable 5、コストパフォーマンスではGPT-5.6 Sol、価格と速度ではGPT-5.6 Terraが優れる一方、GPT-5.6 Lunaは精度や費用、実行時間のいずれも厳しい評価となった。

　興味深いのは、モデルごとに作業の進め方に明確な違いが見られた点だ。Claude Fable 5は実装前に資料を丁寧に読み込み、正しいケースだけでなく、意図的に条件を変えて検証が失敗することまで確認していた。

　一方、GPT-5.6 Solは必要以上に仕様を細かく定義する傾向があり、ある課題では問題文の指定を誤って解釈したまま検証まで作成してしまった。内部では一貫性が保たれていたものの、本来の課題には忠実ではなかった。

　GPT-5.6 Lunaは、原因を分析するよりも編集と再コンパイルを繰り返す傾向が見られた。ある課題では22項目ものチェックを実施したが、その多くは自ら採用した数式を、自ら設定した基準で確認するものだった。JuliaHubは、外部基準を用いない確認は本来の意味での検証にはならないと指摘する。

　GPT-5.6 Terraは最も低コストかつ高速だったものの、検証よりも試行錯誤に時間を費やし、指定されたシミュレーション時間を短縮してしまったことが減点につながった。

　最難関の課題は、NASAの実験機「HL-20」の飛行モデルを構築するものだった。6自由度の機体運動、約170件の風洞実験データ、大気モデル、さらにNASAの技術文書に記載された操舵面制御を組み合わせ、10秒間の飛行を再現する必要がある。だが、この課題を完全に解けたモデルはなく、いずれも機体の横方向の挙動を正確には再現できなかった。

　その中でもClaude Fable 5は、仕様書やデータに加え、2本のNASA技術文書を読み込んでから実装を開始し、外部の正解が存在する項目では最も高い精度を示した。GPT-5.6 Solは部品単位の検証には優れていたものの、機体全体の飛行軌道まで十分には確認しなかった。GPT-5.6 Terraは技術文書の読み込みに失敗すると再試行せず、制御方法を推測して実装した。GPT-5.6 Lunaはコンパイルエラーへの対応を繰り返した結果、正常に飛行できないモデルを提出した。

　ただし、この実験で最も重要なのは「Claude Fable 5が首位だった」という点ではない。JuliaHubは別の比較として、同じAIモデルを自社のDyadと、汎用（はんよう）コーディングエージェント「Claude Code」の両方で動作させる実験もした。その結果、同じ課題で費用もほぼ同じだったにもかかわらず、Dyadではスコア0.899だったのに対し、汎用エージェントでは0.533にとどまった。

　今回の4モデル間で最高スコアと最低スコアの差は0.162だったのに対し、実行環境による差は0.366と、その2倍以上に達した。つまり、どのAIモデルを選ぶか以上に、資料の読み込み方やシミュレーション、外部基準による検証を促す実行環境やエージェント設計が、最終的な性能を大きく左右することを示した結果と言える。

　今回の評価では、Claude Fable 5が最も高い総合スコアを示し、性能面では勝者と言える結果となった。一方で、GPT-5.6 Solは大幅に低いコストで高いスコアを記録し、企業にとっては魅力的な選択肢となる可能性を示した。ただし、この実験結果だけで「Claude Fable 5が企業にとって最適なAI」と結論づけるのは早い。この評価はJuliaHubが自社製品であるDyadを使って実施した社内評価であり、独立した第三者機関による検証ではない。また、AIモデルそのものの性能だけでなく、実行環境や検証の仕組みが結果に大きく影響することも分かった。

　つまり、今回の結果が示したのは「最も高性能なAIはClaude Fable 5だった」という単純な結論ではない。企業がAIを選ぶ際は、性能やコスト、利用環境、評価方法を含めて判断する必要がある。Claudeは確かに勝者だった。だが、企業にとって“迷わず選べる勝者”とは、必ずしも言えない要素もあるようだ。

上司X：　最新AIに物理シミュレーションの問題を解かせたところ、最も正確だったのはClaude Fable 5、費用対効果ではGPT-5.6 Solだった、という話だよ。

ブラックピット：　物理AIと言うとやや特殊ではありますが、やっぱりAIにも得意不得意があるんですね。

上司X：　今回のポイントとしては、AIが生成したコードが正しく動いても、現実の物理現象を正しく表しているとは限らない、ということだ。

ブラックピット：　その点を評価した上での結果、ということですね。

上司X：　ああ。今回の実験では、AIに見せていない正解データとシミュレーション結果を比較した。だから、AIがいくら自信満々でも現実と違えば点数は下がる。

ブラックピット：　では、一番成績の良いAI、ここではClaude Fable 5を選んでおけば安心ということでは？

上司X：　そうでもない。同じAIでも、物理向けの作業手順や検証機能を備えたエージェント環境では高スコアだったが、汎用的な環境ではそうでもなかった。AIモデルそのもののパワーはもちろん影響するが、そのAIを効率よく働かせる環境を整えることも欠かせないようだ。

ブラックピット：　なるほど。優秀な人を採用するだけではなく、資料や道具、チェック体制も用意しないと実力を発揮できないのと同じですね。僕ももっと職場環境が整えばさらなる活躍ができそうですよ！

上司X：　ああ、そうだな（苦笑）。まあ、キミの話は置いておくとして、今回のベンチマーク結果はJuliaHubによる自社製品の内部評価であって、数字はその点を踏まえて見る必要がある。ただし、同じ条件で複数のモデルを比較し、コードだけではなくシミュレーション結果を採点した点は興味深い。どのAIを選ぶかだけでなく、そのAIにどんな環境と検証手段を与えるかについても、ユーザーの知見が試されることになりそうだな。

ブラックピット（本名非公開）

年齢：36歳（独身）
所属：某企業SE（入社6年目）

昔レーサーに憧れ、夢見ていたが断念した経歴を持つ（中学生の時にゲームセンターのレーシングゲームで全国1位を取り、なんとなく自分ならイケる気がしてしまった）。愛車は黒のスカイライン。憧れはGTR。車とF1観戦が趣味。笑いはもっぱらシュールなネタが好き。

上司X（本名なぜか非公開）

年齢：46歳
所属：某企業システム部長（かなりのITベテラン）

中学生のときに秋葉原のBit-INN（ビットイン）で見たTK-80に魅せられITの世界に入る。以来ITひと筋。もともと車が趣味だったが、ブラックピットの影響で、つい最近F1にはまる。愛車はGTR（でも中古らしい）。人懐っこく、面倒見が良い性格。