01 / ロングホライズンコーディング
クロード オーパス 5.5 (最大)
77.4%ミラーコード
平均スコア · ± 8.3 パーセントポイント — 標準誤差
平均スコア · ± 8.3 パーセントポイント — 標準誤差
動作とドキュメントから完全なプログラムを再実装します。
実行が開始されました: .
エージェントの予算が大きく、試行ごとに最大 7 日間、100 億トークンが使用されます。これは、簡単なコーディング アシスタント テストではありません。
ソースとテスト条件 ↗AI モデルの比較 / 意思決定デスク
何が得意ですか?
タスクを選択してください。証拠を調べてください。トレードオフを比較してください。
実用的なモデルの候補リストは、実行する必要がある作業から始まります。
ソーススナップショット
2026年10月12日
2026年10月12日
01 / タスクから始めます
さまざまなテスト。さまざまな強み。
6 つの Epoch AI ベンチマーク テーブルで観測された最高の平均。これらはソース結果であり、Rubrex テストやユニバーサル勝者ではありません。カバレッジと評価の設定はさまざまです。
02 / 科学的な質問
GPT-6 アストラ (最大)
95.8%GPQA ダイヤモンド
平均スコア · ± 1.4 pp SE
平均スコア · ± 1.4 pp SE
生物学、化学、物理学の難しい多肢選択式の質問に答えます。
実行が開始されました: .
特定の質問セットを測定します。文書の科学的調査能力や正確性を証明するものではありません。
ソースとテスト条件 ↗03 / 高度な数学
GPT-6 アストラ (最大)
93.7%FrontierMath Tier 1 ～ 3 v2
平均スコア · ± 1.4 pp SE
平均スコア · ± 1.4 pp SE
Python にアクセスして、専門家が作成した数学の問題を解決します。
実行が開始されました: .
これらは、ツールにアクセスできる v2 の結果です。これらを元の質問セットやツールを使用しない結果と組み合わせないでください。
ソースとテスト条件 ↗04 / 事実に関する質問
GPT-6 アストラ (最大)
75.6%SimpleQA 検証済み
平均スコア · ± 1.4 pp SE
平均スコア · ± 1.4 pp SE
Epoch AI の割合を正確に評価する尺度を使用して採点された、短い事実に関する質問に答えます。
実行が開始されました: .
Epoch は、この設定では最良の推測を推奨します。これは幻覚の割合でも、有用な棄権や私文書の RAG のテストでもありません。
ソースとテスト条件 ↗05 / 長期的なゲームエージェント
GPT-6 アストラ (最大)
76.2%EBRベンチ
平均スコア · ± 8.4 pp SE
平均スコア · ± 8.4 pp SE
Earthborne Rangers ゲーム環境の進行状況を追跡します。
実行が開始されました: .
ゲーム エージェントのパフォーマンスは狭いシグナルです。ビジネス ワークフローの完了やツールの承認を直接測定するものではありません。
ソースとテスト条件 ↗06 / リポジトリの問題の修正
クロード Opus 4.7 (最大)
83.5%SWEベンチ検証済み
平均スコア · ± 1.7 pp SE
平均スコア · ± 1.7 pp SE
Epoch AI の評価セットアップでソフトウェアの問題を解決します。
実行が開始されました: .
このソースでは、最新モデルの範囲が限定されています。エージェントの足場、予算、評価サブセットは、他の SWE ベンチのリーダーボードとは異なる場合があります。
ソースとテスト条件 ↗どの AI モデルが最適ですか?
このスナップショットでは、 クロード オーパス 5.5 (最大) MirrorCode で観測された平均値が最も高くなります。 GPT-6 アストラ (最大) 含まれる GPQA ダイヤモンド ランをリードします。以下のタスク固有の結果を使用して候補を選択し、固定予算で独自の例でテストします。
02 / 証拠を探る
同じテスト内で比較します。
ミラーコード
動作とドキュメントから完全なプログラムを再実装します。 エージェントの予算が大きく、試行ごとに最大 7 日間、100 億トークンが使用されます。これは、簡単なコーディング アシスタント テストではありません。
オリジナルの方法論を読む ↗表示中 9 の 9 マッチング評価が実行されます。平均スコア順に並べられ、最も高いものから順に並べられます。 ± は、パーセントポイントで表した 1 つの標準誤差です (指定されている場合)。
小さい画面では表を水平にスクロールします。
| モデルと設定 | 平均スコア | 標準エラー | 実行が開始されました |
|---|---|---|---|
| クロード オーパス 5.5 (最大)人間的 | 77.4% | ± 8.3 パーセントポイント | 2026年9月22日 |
| クロード・フェイブル 5.1 (高)人間的 | 73.3% | ±9.2pp | 2026年9月10日 |
| クロード・ファブル 5 (高)人間的 | 63.9% | ±10.4pp | 2026年8月10日 |
| GPT-6 アストラ（高）OpenAI | 46.7% | ± 11.9 パーセントポイント | 2026年8月30日 |
| クロード Opus 4.7 (高)人間的 | 31.1% | ±9.0pp | 2026年8月12日 |
| GPT-5.6 ソル (高)OpenAI | 20.0% | ±9.2pp | 2026年8月10日 |
| GPT-5.4 (高)OpenAI | 15.6% | ±7.7pp | 2026年8月10日 |
| GPT-5.5（高）OpenAI | 10.0% | ±6.0pp | 2026年8月10日 |
| Gemini 3.1 Pro プレビューGoogleディープマインド | 8.9% | ±4.6pp | 2026年8月10日 |
03 / 候補リストを作成する
2 つのモデル。 6 つの異なる質問。
各テストで観察された最高の平均スコアを使用してモデル ファミリを比較します。正確な設定は各結果の下に表示されます。このビューは、推論の労力や計算予算を均等化するものではありません。
ロングホライズンコーディング
ミラーコード ↗クロード作品5.577.4%クロード オーパス 5.5 (最大)± 8.3 パーセントポイント — 標準誤差
GPT-6 アストラ46.7%GPT-6 アストラ（高）± 11.9 パーセントポイント — 標準誤差
科学的な質問
GPQA ダイヤモンド ↗クロード作品5.590.6%クロード オーパス 5.5 (最大)± 1.9 パーセントポイント — 標準誤差
GPT-6 アストラ95.8%GPT-6 アストラ (最大)± 1.4 pp 標準誤差
クロード作品5.591.2%クロード オーパス 5.5 (最大)± 1.7 パーセントポイント — 標準誤差
GPT-6 アストラ93.7%GPT-6 アストラ (最大)± 1.4 pp 標準誤差
事実に関する質問
SimpleQA 検証済み ↗クロード作品5.572.2%クロード オーパス 5.5 (最大)± 1.4 pp 標準誤差
GPT-6 アストラ75.6%GPT-6 アストラ (最大)± 1.4 pp 標準誤差
長期的なゲームエージェント
EBRベンチ ↗クロード作品5.571.4%クロード オーパス 5.5 (最大)± 7.1 パーセントポイント — 標準誤差
GPT-6 アストラ76.2%GPT-6 アストラ (最大)± 8.4 pp 標準誤差
リポジトリの問題の修正
SWEベンチ検証済み ↗クロード作品5.5結果はありませんこのソース スナップショットにはありません
GPT-6 アストラ結果はありませんこのソース スナップショットにはありません
欠落スコアはゼロではなく不明です。より高い平均値には重複する不確実性が存在する可能性があります。これらの結果は候補リストのシグナルであり、ワークロードの優位性を証明するものではありません。
04 / 予算を明確にする
トークンのコストはいくらですか?
OpenRouter の公開カタログからの日付付きサンプル。価格は、リストされている基本レベルでの 100 万トークンあたりの米ドルです。この例では、1 つのリクエストに対して 10,000 の入力トークンと合計請求される出力トークン 2,000 を使用します。
小さい画面では表を水平にスクロールします。
| モデル | 入力/1M | 出力 / 1M | リクエストの例 |
|---|---|---|---|
| OpenAI: GPT-6 ルナ ↗よりハイコンテキストの価格帯が適用されます | $0.1 | $0.5 | $0.0020 |
| Anthropic: Claude Haiku 5.5 ↗よりハイコンテキストの価格帯が適用されます | $0.1 | $0.5 | $0.0020 |
| Z.ai: GLM 5.3 フラッシュ ↗ | $0.0232 | $1.2 | $0.0026 |
| DeepSeek: DeepSeek V4.1 フラッシュ ↗よりハイコンテキストの価格帯が適用されます | $0.15 | $0.6 | $0.0027 |
| Z.ai: GLM 5.3 ↗ | $0.079 | $4.8 | $0.0104 |
| Mistral: Mistral Large 4 ↗ | $0.68 | $2.09 | $0.0110 |
| Google: Gemini 3.8 フラッシュ ↗ | $0.75 | $3.75 | $0.0150 |
| StepFun: Step 5 Preview ↗ | $1 | $2.7 | $0.0154 |
| メタ: ミューズ スパーク 1.3 ↗ | $1.25 | $4.25 | $0.0210 |
| MoonshotAI: キミ K3 ↗ | $0.73 | $10 | $0.0273 |
| クウェン: Qwen3.8 Max (0902) ↗ | $2 | $6 | $0.0320 |
| SpaceXAI: Grok 4.7 ↗よりハイコンテキストの価格帯が適用されます | $2 | $6 | $0.0320 |
| OpenAI: GPT-6 ソル ↗よりハイコンテキストの価格帯が適用されます | $2 | $10 | $0.0400 |
| 人間性: クロード・ソネット 5 ↗ | $2 | $10 | $0.0400 |
| OpenAI: GPT-6.1 Sol ↗よりハイコンテキストの価格帯が適用されます | $2 | $10 | $0.0400 |
| OpenAI: GPT-6.1 Sol Pro ↗よりハイコンテキストの価格帯が適用されます | $2 | $10 | $0.0400 |
| Anthropic: Claude Sonnet 5.5 ↗ | $2 | $10 | $0.0400 |
| Google: Gemini 3.1 Pro プレビュー ↗よりハイコンテキストの価格帯が適用されます | $2 | $12 | $0.0440 |
| 人間性: クロード作品 5.5 ↗ | $4 | $20 | $0.0800 |
| OpenAI: GPT-6 アストラ ↗よりハイコンテキストの価格帯が適用されます | $10 | $50 | $0.2000 |
| 人間性: クロード・フェイブル 5.1 ↗ | $10 | $50 | $0.2000 |
これはトークンの推定値であり、成功したタスクごとのコストではありません。追加の推論トークン、再試行、ツール、検索、メディア、ルーティング/プロバイダーの違い、および上位コンテキスト層によって請求額が変わる可能性があります。キャッシュ割引とバッチ割引は対象外です。ご購入前にリンク先のモデルリストをご確認ください。
05 / 追跡できる証拠
数字の意味を理解してください。
ベンチマーク スコアの 1 つのソース
222 モデル ファミリは、これら 6 つのテーブルにわたって表示されます。 Epoch AI の内部実行平均スコアをインポートし、正確な設定を保持し、提供された標準誤差を表示します。分数をパーセンテージに変換し、結果を並べ替えます。無関係なベンチマークを平均して新しい評価を作成することはありません。
エポック AI データと帰属 ↗鮮度が見える
ソースを取得しました 2026年10月12日これはライブ フィードではなく、保存されたスナップショットです。各行の実行日は、ダウンロード日よりも古い場合があります。新しいモデルは、異なる時期に異なるテストに参加します。結果が欠落していても、パフォーマンスが低いことを意味するわけではありません。
現在のソースのエクスポートをダウンロード ↗状況によって決定が変わる
推論の労力、ツール、足場、および計算予算が結果に影響します。平均スコアの小さなギャップは統計的有意性検定ではありません。モデルを切り替える前に、独自の動作条件下でタスクの成功、テール レイテンシー、障害の重大度、総コストを評価してください。
モデル移行ガイドを読む →速度と好みには別のレンズが必要です
これらのベンチマーク テーブルは、API の速度やユーザーの好みを測定するものではありません。人工分析はパフォーマンスの比較を提供します。 Arena は好みに基づいた比較を提供します。彼らのテストは異なる質問に答えるため、その数値はこの表に統合されません。
人工分析でスピードを探る ↗アリーナで設定を確認してください ↗
ベンチマーク データ: エポック AI、機能、ベンチマークで使用されます CC BY 4.0. Rubrex によって選択され、再フォーマットされ、パーセンテージに変換されます。オリジナルのベンチマーク作成者と手法がカテゴリごとにリンクされています。暗黙の承認はありません。 API価格データ: OpenRouter パブリック モデル カタログ、同じ日に取得されました。
ソース エクスポートは、このスナップショットの後に変更される可能性があります。当社はプロバイダー提供のランキングを公開しておらず、これらのスコアが本番環境の信頼性を確立しているとは主張しません。
選択する前に
役立つ回答がいくつかあります。
一部のテストで新しいモデルが欠落しているのはなぜですか?
独立した評価には時間がかかり、各ベンチマークは異なるモデルのセットをカバーしています。欠落した結果は空のままにします。同じファミリー内の別のモデルや起動クレームからスコアを推測することはありません。
最も安価なモデルが最もお得ですか?
品質基準を満たしている場合のみ。再試行や人によるレビューを含め、成功したタスクごとのコストを比較します。トークンの価格が低いと、依然として高価なワークフローが発生する可能性があります。
これらの結果から、RAG またはカスタマー サポートのモデルを選択できますか?
候補リストの作成に役立ちます。代表的な文書、回答可能性のケース、引用チェック、ツールの境界、アプリケーション全体のテストが依然として必要です。
RAG 評価を構築する →最終候補リストから決定まで
あなたの製品にはどのモデルが対応していますか?
ユースケースを 1 つ持参してください。品質基準を定義し、ベースラインを確立し、障害を調査できます。
AI 信頼性スプリントを探索する →